信息论与编码-信源熵.pptVIP

§2.2.1 序列信息的熵 §2.2.3 平稳信源的熵和极限熵 §2.2.2 离散平稳信源的数学模型 §2.2.4 马尔可夫信源 §2.2.5 信源冗余度 有记忆的特点： 有限的相关符号组构成的序列 有限记忆长度； 发出一个个符号，每发一个符号状态要发生转移。 信源输出不仅与符号集有关，而且与状态有关； 状态 1 2 3 以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源。 某时刻输出符号仅与此刻信源所处的状态有关； 某时刻所处状态由当前输出符号和前一时刻信源状态唯一确定。 马尔可夫信源 1 2 信源输出当前符号仅与前面m个符号有关的马尔可夫信源。 m阶马尔可夫信源 状态极限概率 马尔可夫信源稳定后各状态的极限概率（ ） 各态历经定理 P61 状态极限概率的求法，状态转移图 二阶马尔可夫信源{00 01 10 11} 香农线图： 例2.2.4 平稳信源（如果不平稳则先把其变成分段平稳的）。 1 2 1 马尔可夫信源发出一个个符号，有限长度有记忆信源发出一组组符号； 一般有记忆信源用联合概率描述符号间的关联关系，马尔可夫信源用条件概率（状态转移概率）来描述符号间的关联关系； m阶马尔可夫与一般记忆长度为m的有记忆信源的区别： 1 2 2 马尔可夫信源记忆长度虽然有限，但依赖关系延伸到无穷远。长为m的有限记忆信源符号间的依赖关系仅限于每组内，组与组之间没有依赖关系； 3 2 I(X;Y)随信道变化的曲线，如图2.1.10 0 0 1 1 0.5 0.5 0.5 0.5 0 0 1 1 1 1 0 0 1 1 1 1 多次处理信息量将减少 图2.1.8 数据处理模型 数据处理定理 X Ⅰ Y Ⅱ Z 5 定义 多次测量 多次测量的互信息量要比单次测量的互信息量大 证(略) §2.1.6 各种熵之间的关系 §2.1.1 单符号离散信源的数学模型 §2.1.2 自信息和信源熵 §2.1.3 信源熵的基本性质和定理 §2.1.4 加权熵的概念和基本性质 §2.1.5 平均互信息 X Y X Y X Y X Y X Y §2.1 单符号离散信源 §2.3 连续信源 §2.2 多符号离散平稳信源 §2.4 离散信源无失真编码定理 多符号离散平稳信源 随机矢量中的各随机变量的统计特性都不随时间推移而变化。 §2.2.1 序列信息的熵 §2.2.3 平稳信源的熵和极限熵 §2.2.2 离散平稳信源的数学模型 §2.2.4 马尔可夫信源 §2.2.5 信源冗余度 输出的消息序列中各符号之间无相互依赖关系的信源。亦称为单符号离散平稳无记忆信源的扩展信源。 序列长度就是扩展次数。 单符号信源{0，1}经过扩展， 变成了：{00，01，10，11} 例2.2.1 多符号离散平稳无记忆信源 可证明序列信息的熵为 单符号信源如下,求二次扩展信源熵 扩展信源： 例2.2.2 §2.2.1 序列信息的熵 §2.2.3 平稳信源的熵和极限熵 §2.2.2 离散平稳信源的数学模型 §2.2.4 马尔可夫信源 §2.2.5 信源冗余度 离散平稳信源 各维联合概率均与时间起点无关的完全平稳信源。 §2.2.1 序列信息的熵 §2.2.3 平稳信源的熵和极限熵 §2.2.2 离散平稳信源的数学模型 §2.2.4 马尔可夫信源 §2.2.5 信源冗余度 反映信源记忆特性的两方法： 用联合概率反映信源记忆特性 用条件概率反映信源记忆特性 1 2 二维信源 1 一般地 例2.2.3 原始信源： 条件概率： X1 X2 平均符号熵： N维信源 2 ? 由平稳性： 平均符号熵： 极限熵： 信源空间中概率分量的微小波动，不会引起加权熵值的很大变动。 表明熵的总体特性。 对称性 3 均匀性 4 等重性 5 与香农熵的性质一致。 确定性 6 在一定程度上反映了认识主体的主观意志，具有效用和意义的含义。 非容性 7 扩展性 线性叠加性 8 9 当所有权重系数都为1时，有 香农最大熵可看成是加权熵在权重系数都为1时的特例。 加权熵的最大值 10 §2.1.4 加权熵的概念和基本性质 §2.1.1 单符号离散信源的数学模型 §2.1.2 自信息和信源熵 §2.1.3 信源熵的基本性质和定理 §2.1.6 各种熵之间的关系 §2.1.5 平均互信息量 平均互信息 一、平均互信息量的定义 平均互信息