第二章信息熵概述.pptVIP

? N维信源的信源熵 * 平均符号熵： 极限熵： 平均符号熵与极限熵 * 对离散平稳信源若H1(X)＜? ，则有以下性质： (1) 多维离散有记忆信源的熵是起始时刻随机变量X1的熵与各阶条件熵之和； (2)条件熵H(XN/X1X2…XN-1)随N的增加是递减的； 一些性质 * (3) 平均符号熵HN (X)也是随N增加而递减的； (4) H? 存在，并且: 一些性质 * 小结 离散无记忆信源的N次扩展 离散平稳有记忆信源 平均符号熵 极限熵 * 2.3.4 有记忆的特点： 有限的相关符号组构成的序列 有限记忆长度； 发出一个个符号，每发一个符号状态要发生转移。 信源输出不仅与符号集有关，而且与状态有关； 状态 1 2 3 * 以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源。 某时刻输出符号仅与此刻信源所处的状态有关； 某时刻所处状态由当前输出符号和前一时刻信源状态唯一确定。 马尔可夫信源 1 2 * * 信源输出当前符号仅与前面m个符号有关的马尔可夫信源。 m阶马尔可夫信源 * * * 二阶马尔可夫信源{00 01 10 11} 香农线图： 例2.3.4 * 例2.3.4 平稳信源（如果不平稳则先把其变成