[工学]第二章 信源熵r.ppt

§2.2.1 序列信息的熵 §2.2.3 平稳信源的熵和极限熵 §2.2.2 离散平稳信源的数学模型 §2.2.4 马尔可夫信源 §2.2.5 信源冗余度 有记忆的特点： 有限的相关符号组构成的序列 有限记忆长度； 发出一个个符号，每发一个符号状态要发生转移。 信源输出不仅与符号集有关，而且与状态有关； 状态 1 2 3 以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源。 某时刻输出符号仅与此刻信源所处的状态有关； 某时刻所处状态由当前输出符号和前一时刻信源状态唯一确定。 马尔可夫信源 1 2 信源输出当前符号仅与前面m个符号有关的马尔可夫信源。 m阶马尔可夫信源 状态极限概率 马尔可夫信源稳定后各状态的极限概率（ ） 各态历经定理 P61 状态极限概率的求法，状态转移图 二阶马尔可夫信源{00 01 10 11} 香农线图： 例2.2.4 平稳信源（如果不平稳则先把其变成分段平稳的）。 1 2 1 马尔可夫信源发出一个个符号，有限长度有记忆信源发出一组组符号； 一般有记忆信源用联合概率描述符号间的关联关系，马尔可夫信源用条件概率（状态转移概率）来描述符号间的关联关系； m阶马尔可夫与一般记忆长度为m的有记忆信源的区别： 1 2 2 马尔可夫信源记忆长度虽然有限，但依赖关系延伸到无穷远。长为m的有限记忆信源符号间的依赖关系仅限于每组内，组与组之间没有依赖关系； 3 4 §2.2.1 序列信息的熵 §2.2.3 平稳信源的熵和极限熵 §2.2.2 离散平稳信源的数学模型 §2.2.4 马尔可夫信源 §2.2.5 信源冗余度 空格：0.2 E：0.105 T：0.072 O：0.0654 A：0.063 N：0.059 I：0.055 R：0.054 S：0.052 H：0.047 D：0.035 L：0.029 C：0.023 F、U：0.025 M：0.021 P：0.175 Y、W：0.012 G：0.011 B：0.0105 V：0.008 K：0.003 X：0.002 J、Q：0.001 Z：0.001 英文各个字符的统计概率如下： 例2.2.5 英文字母出现概率统计 对于英语信源： 信息熵的相对率： 信源的冗余度： 信息变差： 对英语信源： 冗余度与传输效率 冗余度与传输可靠性 冗余度与英语学习 ? §2.1 单符号离散信源 §2.3 连续信源 §2.2 多符号离散信源 §2.4 离散信源无失真编码定理 连续信源的分类 连续信源 平稳信源 非平稳信源 平稳信源 统计特性与时间起点无关的连续信源。 集平均以概率1等于时间平均的平稳随机过程。 遍历过程 §2.3.1 连续信源的熵 §2.3.3 连续信源熵的性质及 最大连续熵定理 §2.3.2 几种特殊连续信源的熵 §2.3.4 熵功率 2 I(X;Y)随信道变化的曲线，如图2.1.10 0 0 1 1 0.5 0.5 0.5 0.5 0 0 1 1 1 1 0 0 1 1 1 1 多次处理信息量将减少 图2.1.8 数据处理模型 数据处理定理 X Ⅰ Y Ⅱ Z 定义 多次测量 多次测量的互信息量要比单次测量的互信息量大 证(略) §2.1.6 各种熵之间的关系 §2.1.1 单符号离散信源的数学模型 §2.1.2 自信息和信源熵 §2.1.3 信源熵的基本性质和定理 §2.1.4 加权熵的概念和基本性质 §2.1.5 平均互信息 X Y X Y X Y X Y X Y §2.1 单符号离散信源 §2.3 连续信源 §2.2 多符号离散平稳信源 §2.4 离散信源无失真编码定理 多符号离散平稳信源 随机矢量中的各随机变量的统计特性都不随时间推移而变化。 §2.2.1 序列信息的熵 §2.2.3 平稳信源的熵和极限熵 §2.2.2 离散平稳信源的数学模型 §2.2.4 马尔可夫信源 §2.2.5 信源冗余度 输出的消息序列中各符号之间无相互依赖关系的信源。亦称为单符号离散平稳无记忆信源的扩展信源。 序列长度就是扩展