信息论编码 田宝玉chapter3 幻灯片.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 几点注释： 1)定理3.5.2给出了马氏源符号熵的计算方法： 先求每个状态下的条件符号熵，再用状态的概 率平均； 2)计算符号熵要用状态的平稳分布； 3)单位为比特/符号。 3.5.4 马氏源符号熵的计算(7) 求信源的极限符号熵 3.5.1 续 解： 例 3.5.4 马氏源符号熵的计算(8) 3.6 信源的相关性与剩余度 ▲信源的相关性 ▲信源剩余度（冗余度） ▲自然语言的相关性和剩余度 信源的相关性就是信源符号间的依赖程度。设信源有m个符号，那末对于不同情况可以分别计算信源的熵为： （符号独立等概） （独立信源） （一阶马氏源） （n-1阶马氏源） 由平稳性与熵的不增原理，有： 可见，符号相关程度越大，熵越小，反之亦然。 3.6.1 信源的相关性 为描述信源的相关性，引入信源效率和剩 余度的概念。 信源效率 信源剩余度 3.6.2 信源剩余度（冗余度） 英文字母概率表 3.6.3 自然语言的相关性和剩余度(1) 字母 概率 字母 概率 字母 概率 空格 0.1859 I 0.0575 R 0.0484 A 0.0642 J 0.0008 S 0.0514 B 0.0127 K 0.0049 T 0.0796 C 0.0218 L 0.0321 U 0.0228 D 0.0317 M 0.0198 V 0.0083 E 0.1031 N 0.0574 W 0.0175 F 0.0208 O 0.0632 X 0.0013 G 0.0152 P 0.0152 Y 0.0164 H 0.0467 Q 0.0008 Z 0.0005 对于实际英文字母组成的信源： 3.6.3 自然语言的相关性和剩余度(2) (比特/符号) 汉字近似概率表 3.6.3 自然语言的相关性和剩余度(3) 类别 汉字个数 所占概率P 每个汉字的概率Pi Ⅰ 140 0.5 0.5/140 Ⅱ 625-140=485 （0.85-0.5）=0.35 0.35/485 Ⅲ 2400-625=1775 （0.997-0.85）=0.147 0.147/1775 Ⅳ 7600 0.003 0.003/7600 根据上表，可近似估算汉语信源的信息熵： 3.6.3 自然语言的相关性和剩余度(4) (比特/符号) 1 离散信源X的N次扩展源的熵 ，仅当信源无记忆时等式成立； 离散信源X的N次扩展源的平均符号熵 ，仅当信源无记忆时等式成立。 本 章 小 结 (1) 2．有记忆信源的符号熵： 并且 3．马氏源的符号熵： 其中 ， 4．信源剩余度 本 章 小 结 (2) * * * * * * * * * * * * * * * * * * * * * 3.4.2 设例3.4.1中马氏链的初始状态的概率分布为1/2、1/4、1/4，分别求1步转移后和2步转移后的状态的概率分布。 解： 例 Kolmogorov-Chapman方程(2) 3.4.3 马氏链状态分类 (1) ▲ 若对某一n≥1，有 ，则称状态j可由状态i到达，记为 i→j ▲ 如果 ，且 ，则称状态i与状态j可互通，记为 ▲定义每个状态都与该状态本身互通，即互通关系满足自反性 ▲ 互通关系还满足对称性和传递性 3.4.3 马氏链状态分类 (2) 3.4.3 按互通性将状态分成若干类（子集） 解： 例 3.4.3 马氏链状态分类 (3) 常返态 过渡态 周期的 非周期 最大公约数 1 ＝1 3.4.3 马氏链状态分类 (4) 对任何马氏链（有限或无限可数状态），同一类中所有状态都有相同周期。 定理3.4.1： 非周期的常返态称为遍历态 ▲ 定义: 若对任意整数m,n,马氏链的状态分布满