中北大学信息论与编码第4,5,6讲.ppt

* 定义、计算公式、相互关系 自信息量、信源熵、互信息、条件熵、联合熵 序列熵、平均符号熵、极限熵 相对熵／差熵 冗余度 * * * * * * * 　　对离散平稳有记忆信源，其联合概率具有时间推移不变性，此时有如下结论： （1） 是L的单调非增函数。 （2） （3） 　是L的单调非增函数。 （4）当 时， 称为极限熵，又称为极限信息量。 * 　　由结论（3）有： 为等概率无记忆信源单个符号的熵， 为一般无记忆信源单个符号的熵， 为两个符号组成的序列平均符号熵，依此类推。 结论(4)从理论上定义了平稳离散有记忆信源的极限熵，对于一般离散平稳信源，实际上求此极限值是很困难的。但对于一般离散平稳信源，由于取L不很大时就能得出非常接近 的 因此，可用条件熵或者平均符号熵作为平稳信源极限熵的近似值。 * 当平稳信源满足m阶马尔可夫性质时 * 对于齐次、遍历马尔可夫信源 * 2.3.5 信源冗余度 冗余度也称多余度或剩余度。冗余度来自两个方面，一是信源符号间的相关性。 另一个方面是信源符号分布的不均匀性，当等概率分布时信源熵最大。 当信源输出符号间彼此不存在依赖关系且为