第2章信源熵概述.ppt

3 平均互信息的非负性 对称性： 数据处理定理： 最大连续熵定理 限峰值功率的最大熵定理 若代表信源的N维随机变量取值被限定在一定范围内，在有限定义域内均匀分布的连续信源有最大熵。 1 4 可以证明 限平均功率的最大熵定理 平均功率为P，均值m受限，当信源概率密度函数为正态分布时，具有最大熵。 2 均值受限条件下的最大熵定理 连续信源输出非负信号的均值受限条件下，指数分布的连续信源具有最大熵。 3 任意其它分布的信源熵为 连续信源不存在绝对的最大熵。连续最大熵与信源的限制条件有关。在不同的限制条件下，有不同的最大连续熵。 平稳信源（如果不平稳则先把其变成分段平稳的）。 1 2 1 马尔可夫信源发出一个个符号，有限长度有记忆信源发出一组组符号； 一般有记忆信源用联合概率描述符号间的关联关系，马尔可夫信源用条件概率（状态转移概率）来描述符号间的关联关系； m阶马尔可夫信源与记忆长度为m的有记忆信源的区别： 1 2 2 马尔可夫信源记忆长度虽然有限，但依赖关系延伸到无穷远。长为m的有限记忆信源符号间的依赖关系仅限于每组内，组与组之间没有依赖关系； 3 4 对离散信源，符号个数为q的信源等概率分布时熵最大，其平均自信息量记为: H0＝log q 由于信源符号间的依赖关系使信源的熵减小，使