

情報量・エントロピーはどうにか理解したのですが、情報源符号化定理の式がわかりません

平均符号長L=エントロピーs（H）という風に考えていいということですか

このサイトを参考にしています

<http://sun.ac.jp/prof/hnagano/houkoku/h24information-04.html>


CC BY-SA 3.0
2015-04-28T02:31:15.870
9631
2015-04-28T03:14:10.707
2015-04-28T03:14:10.707
49
9521
question
情報理論
情報源符号化定理がどうしても理解できません


> 平均符号長L=エントロピーs（H）という風に考えていいということですか

ある情報源Sに対して、“最短の”平均符号長L は エントロピーH(S)に等しい、という解釈が正確かと思います。

引用元サイトに `H(S) ≦ L
＜H(S)＋ε`（εは任意の正数）とある通り、情報源符号化定理は「どのようなアルゴリズムをもってしても、平均符号長LをエントロピーH(S)より短くすることは原理的に不可能」なことを示しています。


CC BY-SA 3.0
2015-04-28T03:05:48.070
9634
2015-04-28T03:05:48.070
49
9631
answer