第的二章信息熵.ppt

? N维信源的信源熵 * 平均符号熵： 极限熵： 平均符号熵与极限熵 * 对离散平稳信源若H1(X)＜? ，则有以下性质： (1) 多维离散有记忆信源的熵是起始时刻随机变量X1的熵与各阶条件熵之和； (2)条件熵H(XN/X1X2…XN-1)随N的增加是递减的； 一些性质 * (3) 平均符号熵HN (X)也是随N增加而递减的； (4) H? 存在，并且: 一些性质 * 小结 离散无记忆信源的N次扩展 离散平稳有记忆信源 平均符号熵 极限熵 * 2.3.4 有记忆的特点： 有限的相关符号组构成的序列 有限记忆长度； 发出一个个符号，每发一个符号状态要发生转移。 信源输出不仅与符号集有关，而且与状态有关； 状态 1 2 3 * 以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源。 某时刻输出符号仅与此刻信源所处的状态有关； 某时刻所处状态由当前输出符号和前一时刻信源状态唯一确定。 马尔可夫信源 1 2 * * 信源输出当前符号仅与前面m个符号有关的马尔可夫信源。 m阶马尔可夫信源 * * * 二阶马尔可夫信源{00 01 10 11} 香农线图： 例2.3.4 * 例2.3.4 平稳信源（如果不平稳则先把其变成分段平稳的）。 1 2 1 * 马尔可夫信源发出一个个符号，有限长度有记忆信源发出一组组符号； 一般有记忆信源用联合概率描述符号间的关联关系，马尔可夫信源用条件概率（状态转移概率）来描述符号间的关联关系； m阶马尔可夫与一般记忆长度为m的有记忆信源的区别： 1 2 2 * 马尔可夫信源记忆长度虽然有限，但依赖关系延伸到无穷远。长为m的有限记忆信源符号间的依赖关系仅限于每组内，组与组之间没有依赖关系； 3 * 4 * §2.2.5 信源冗余度 * 空格：0.2 E：0.105 T：0.072 O：0.0654 A：0.063 N：0.059 I：0.055 R：0.054 S：0.052 H：0.047 D：0.035 L：0.029 C：0.023 F、U：0.025 M：0.021 P：0.175 Y、W：0.012 G：0.011 B：0.0105 V：0.008 K：0.003 X：0.002 J、Q：0.001 Z：0.001 英文各个字符的统计概率如下： 例 * 英文字母出现概率统计 * 信息熵的相对率： 信源的冗余度： 信息变差： 对英语信源： * 对离散信源，信源符号等概率分布时熵最大，其平均自信息量记为: H0＝log q 由于信源符号间的依赖关系使信源的熵减小，使下式成立： 信源符号之间依赖关系越强，每个符导提供的平均信息量越小。 为此，引入信源的冗余度来衡量信源的相关程度(有时也称为多余度)。 * 例１：英语----字母表 以英文字母组成的信源为例，信源的输出是英文字母组成的序列。英文字母共26个加上空格共27个符号。所以由英文字母组成的信源的最大熵： H0＝log 27＝4.76（比特／符号） 考虑到字母之间的依赖关系，可以把英文信源作进一步的近似，看作为M阶马尔可夫信源。这样可以求得： H1＝4.03 比特／符号 H2＝3.32 比特／符号 H3＝3.1 比特／符号 …… H?＝1.4 比特／符号 熵的相对率：?=0.29 信源剩余度：?=0.71 * 英文信源的剩余度说明： 文中有71％是由语言结构定好的； 只有29％是写文字的人可以自由选择的。 在传递或存储英语信息时，那些有关联的字母可进行大幅度地压缩。 例如100页的书，大约只要存储29页就可以了，其中71页可以压缩掉。 信源的剩余度表示这种信源可压缩的程度。 德语、法语等自然语言与英语类似，而汉语信源则复杂得多。 * 冗余度与传输效率 冗余度与传输可靠性 冗余度与英语学习 ? * 信源熵、条件熵、联合熵之间的关系 4 H(XY)= H(X)＋H(Y/X)