信息论与编码纠错第2章new.pptVIP

补充 信源冗余度及信息变差 [例] 英语26字母加 空格共27个符号。 H0=4.76 bit /符号, H1=4.03 bit /符号, H2=3.32 bit /符号, H3=3.10 bit /符号 H∞ =1.40 bit /符号， 且? = 0.29， R = 0.71， I0∞= 3.36 bit/符号 [说明] 英文中，有71%冗余度，是由语言结构决定的，该部分无需传输，可压缩。 于是：冗余度——信源可压缩程度。 [例] 将常用的10000个汉字看做10000个符号。 H0=13.288 bit /符号, H1=9.773 bit /符号, ? = 0.736， R = 0.264 [说明] 汉语信源中，每个汉字出现的概率不但不相等，而且有一些常用的词组。单字之间有依赖关系，词组之间也有依赖关系。如果将这些依赖关系考虑进去，计算相当复杂，但是实际汉语信源的熵一定也很小，冗余度相当大。 3．平均互信息量的物理意义 从通信的角度来讨论平均互信息量I(X ; Y)的物理意义： （1）由第一等式 I(X;Y)= H（X）- H（X︱Y）看I(X;Y)的物理意义： 设X为发送消息符号集，Y为接收符