第三章：信源、熵率及冗余度.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 1、 2021/3/26 * 冗余度－3 正由于信源存在着冗余度,即存在着不必要传送的信息,因此信源也就存在进一步压缩信息率的可能性。冗余度越大,压缩潜力也就越大。可见它是信源编码、数据压缩的前提与理论基础。 字母 字母 字母 空格 E T O A N I R 0.2 0.105 0.072 0.0654 0.063 0.059 0.055 0.054 S H D L C F.U M P 0.0502 0.047 0.035 0.029 0.023 0.0225 0.021 0.0175 Y.W G B V K X J.Q Z 0.012 0.011 0.0105 0.008 0.003 0.002 0.001 0.001 冗余度－4 例3－9:计算英文文字信源的冗余度） 首先给出英文字母（含空格）出现概率如下: 冗余度－5 首先求得独立等概率情况H0 ,即 其次,计算独立不等概率情况H1 , 再次,若仅考虑字母有一维相关性,求H2 , 最后实际熵H∞,利用统计推断方法求出。由于采用的逼近的方法和所取的样本的不