离散马尔科夫链.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 几点注释： 1)定理3.5.2给出了马氏源符号熵的计算方法： 先求每个状态下的条件符号熵，再用状态的概 率平均； 2)计算符号熵要用状态的平稳分布； 3)单位为比特/符号。 3.5.4 马氏源符号熵的计算(7) 求信源的极限符号熵 3.5.1 续 解： 例 3.5.4 马氏源符号熵的计算(8) 3.6 信源的相关性与剩余度 ▲信源的相关性 ▲信源剩余度（冗余度） ▲自然语言的相关性和剩余度 信源的相关性就是信源符号间的依赖程度。设信源有m个符号，那末对于不同情况可以分别计算信源的熵为： （符号独立等概） （独立信源） （一阶马氏源） （n-1阶马氏源） 由平稳性与熵的不增原理，有： 可见，符号相关程度越大，熵越小，反之亦然。 3.6.1 信源的相关性 为描述信源的相关性，引入信源效率和剩 余度的概念。 信源效率 信源