通信路容量   Channel capacity

   index   

 相互情報量は送信信号の情報が受信信号にどれだけ含まれるかを測る尺度でした。 送信者をA で表し、受信者をB で表すと、相互情報量は

で与えられます。 送信者もチャンネルも無記憶とすると、相互情報量は送信シンボルの確率分布とシンボル誤り率が与えられれば計算できます。 シンボルの誤り率はチャンネルの特性であり、送信シンボルの確率分布は送信情報源の特性です。 したがって、送信シンボルの確率分布 を適当に選んで相互情報量を最大化したものはチャンネルが送れる最大の情報を表します。 この最大値

を通信路容量(Channel Capacity)と呼んでいます。

Shannon "A Mathematical Theory of Communication" 1948

相互情報量で紹介した伝言ゲームの対称な場合について、通信路容量の曲面を描いてみましょう。

img4.gif

上の式で、右辺第1項と第2項は に依存していますが、第3項は に依存していません。 第1項と第2項の和は、

とおくと、

のような形をしています。 この関数はエントロピーの説明で頻繁に出現する関数ですが、 (すなわち )のとき最大値をとります。 したがって、通信路容量は

となります。 この結果を描くと下図のような曲線になります。

img7.gif

この曲線は下図の鞍の形をした相互情報量の尾根をたどる曲線になっています。

img1.gif

のとき通信路容量は情報源に関係なくゼロですが、このことは、伝言者がまったく信用できないとき、いかに情報源を設計しても受信者に情報を伝えることができないことを意味しています。 一方、 のとき通信路容量はです。 これは正確な伝言者に対しては、送信情報源のエントロピーがそのまま受信信号のエントロピーになり、 のときの情報源エントロピーの最大値が通信路容量を与えることを表しています。

注: 通信路容量の概念は、第一に誤り訂正符号の原理に引き継がれます。 これに関しては 通信路の符号化 を参照してください。 第2は、ディジタル情報伝送の最大情報伝送効率の問題に拡大されます。  これに関しては、 ディジタル通信の速度限界 を、 またアナログ値に関する通信路容量については、 アナログ信号のエントロピー 注水定理 を参照してください。

  ページのトップへ