通信路容量 Channel capacity
|
相互情報量は送信信号の情報が受信信号にどれだけ含まれるかを測る尺度でした。 送信者をA で表し、受信者をB で表すと、相互情報量は
で与えられます。 送信者もチャンネルも無記憶とすると、相互情報量は送信シンボルの確率分布とシンボル誤り率が与えられれば計算できます。 シンボルの誤り率はチャンネルの特性であり、送信シンボルの確率分布は送信情報源の特性です。 したがって、送信シンボルの確率分布
を通信路容量(Channel Capacity)と呼んでいます。 Shannon "A Mathematical Theory of Communication" 1948 相互情報量で紹介した伝言ゲームの対称な場合について、通信路容量の曲面を描いてみましょう。
上の式で、右辺第1項と第2項は
とおくと、
のような形をしています。 この関数はエントロピーの説明で頻繁に出現する関数ですが、
となります。 この結果を描くと下図のような曲線になります。
この曲線は下図の鞍の形をした相互情報量の尾根をたどる曲線になっています。
注: 通信路容量の概念は、第一に誤り訂正符号の原理に引き継がれます。 これに関しては 通信路の符号化 を参照してください。 第2は、ディジタル情報伝送の最大情報伝送効率の問題に拡大されます。 これに関しては、 ディジタル通信の速度限界 を、 またアナログ値に関する通信路容量については、 アナログ信号のエントロピー や 注水定理 を参照してください。 |