1 3.3976 0.096 0.024 0.129 5.3851 0.144 0.081 3.3976 0.096 0.022 0.121 5.5107 0.132 0.076 3.4768 0.088 0.020 0.113 5.6482 0.120 0.071 3.5636 0.080 0.020 0.113 5.6482 0.120 0.071 3.5636 0.080 0.019 0.108 5.7222 0.114 0.068 3.6103 0.076 0.015 0.091 6.0632 0.105 0.057 3.8255 0.060 0.010 0.066 6.6482 0.070 0.042 4.1945 0.050 0.008 0.056 6.9701 0.056 0.035 4.3976 0.040 0.002 0.018 8.9701 0.018 0.011 5.6595 0.012 0.002 0.018 8.9701 0.018 0.011 5.6595 0.012 0.001 0.010 9.9701 0.010 0.006 6.2904 0.007 0.001 0.010 9.9701 0.010 0.006 6.2904 0.007 1.000 Entropy H2 = 4.185 = 4.577 H3 = 2.640 L** = 3.19 bit/symbol bit/symbol trit/symbol trit/symbol (source) (code) (source) (code) Coding 91.42% 84.37% efficiency Quaternary coding 26-ary coding Ideal Ideal length length length length length length plog4(p) l*(x) l**(x) l**(x)p(x) log26(x) l*(x) l**(x) l**(x)p(x) 0.127 0.189 1.4885 0.254 0.080 0.6334 0.127 0.091 0.157 1.7312 0.181 0.067 0.7366 0.091 0.082 0.148 1.8063 0.164 0.063 0.7686 0.082 (cont.) 8.6 Shannon's source-coding theorem Table 8.5 (cont.) Quaternary coding 26-ary coding Ideal Ideal length length length length length length plog4(p) l*(x) l**(x) l**(x)p(x) p log26(x) l*(x) **(x) l**(x)p(x) 0.075 0.140 1.8706 2 0.150 0.060 0.7959 1 0.075 0.070 0.134 1.9204 2 0.140 0.057 0.8171 1 0.070 0.067 0.130 1.952 2 0.134 0.055 0.8306 1 0.067 0.063 0.125 1.9964 2 0.126 0.053 0.8495 1 0.063 0.061 0.123 2.0197 3 0.182 0.052 0.8594 1 0.061 0.060 0.122 2.0316 3 0.179 0.052 0.8644 1 0.060 0.043 0.097 2.2719 3 0.129 0.041 0.9667 1 0.043 0.040 0.093 2.3241 3 0.120 0.039 0.9889 1 0.040 0.028 0.072 2.5814 3 0.084 0.031 1.0984 2 0.056 0.028 0.072 2.5814 3 0.084 0.031 1.0984 2 0.056 0.024 0.064 2.6926 3 0.072 0.027 1.1457 2 0.048 0.024 0.064 2.6926 3 0.072 0.027 1.1457 2 0.048 0.022 0.060 2.7553 3 0.066 0.026 1.1724 2 0.044 0.020 0.056 2.8241 3 0.060 0.024 1.2016 2 0.040 0.020 0.056 2.8241 3 0.060 0.024 1.2016 2 0.040 0.019 0.054 2.8611 3 0.057 0.023 1.2174 2 0.038 0.015 0.045 3.0316 4 0.060 0.019 1.2899 2 0.030 0.010 0.033 3.3241 4 0.040