信息论基础 普通高等教育十一五 国家级规划教材 教学课件 作者 田宝玉 杨洁 贺志强 王晓湘 chapter3.pptVIP

3.1.2 离散无记忆信源的数学模型 ▲ 单符号离散无记忆信源的数学模型： 3.1.2 离散无记忆信源的数学模型 离散马尔可夫信源 对于遍历马氏链，无论初始分布如何，当转移步数足够大时，状态概率分布总是趋于稳定值，与初始状态概率分布无关。 几点注释： 1)定理3.5.2给出了马氏源符号熵的计算方法： 先求每个状态下的条件符号熵，再用状态的概 率平均； 2)计算符号熵要用状态的平稳分布； 3)单位为比特/符号。 信源的相关性就是信源符号间的依赖程度。设信源有m个符号，那末对于不同情况可以分别计算信源的熵为： （符号独立等概） （独立信源） （一阶马氏源） （n-1阶马氏源） 由平稳性与熵的不增原理，有： 可见，符号相关程度越大，熵越小，反之亦然。 为描述信源的相关性，引入信源效率和剩 余度的概念。 信源效率 信源剩余度 1 离散信源X的N次扩展源的熵 ，仅当信源无记忆时等式成立； 离散信源X的N次扩展源的平均符号熵 ，仅当信源无记忆时等式成立。 2．有记