第2章 wypart.v1.2.pptx

第2章 信息熵;第2章 信源熵;多符号离散平稳信源;第2章 信源熵;离散平稳无记忆信源;离散平稳无记忆信源;;~N次扩展信源的数学模型：;证：由信源熵的定义，可得：;以式中的第一项为例进行分析：;例题1;例题1（续）;例题2;例题2(续);第2章 信源熵;离散平稳信源;一维平稳和二维平稳;离散平稳信源;第2章 信源熵;离散平稳有记忆信源;;平稳信源的熵-联合熵;平稳信源的熵-熵的可加性;熵可加性的分析;; 设某二维离散信源 的原始信源 为：;比特/符号;;29;平均符号熵与极限熵;极限熵的意义;极限熵的计算;转化为：;第2章 信源熵;马尔可夫信源;马尔可夫信源的状态;马尔可夫信源定义;相关知识;状态转移图;例题2;例题2（续）;例题3;例题3（续）;例题3（续）;马尔可夫信源的极限熵;马尔可夫信源的极限熵H∞ =Hm+1;注意;例题1;例题1（续）;马尔可夫信源熵-例题(续);m阶马尔可夫与一般有记忆信源的区别;第2章 信源熵;信源冗余度：;实例：英语信源。;回答：假设认为前后符号间不相关，并且所有27个符号 等概率分布。;英语符号概率分布;分析2：考虑英语符号概率分布，不考虑符号间依赖关系的情况下，平均符号熵等于多少？;比特/符号;2. 类似地，近似为二阶马尔可夫信源。;;假设有一个27元（27种可能的符号）、等概率分布、无记忆的符号序列。;信源的冗余度：; 显然，压缩后信源的冗余度越低，通信的有效性越好。但另一方面，信源冗余度过低，甚至没有冗余度，又会带来通信可靠性方面的问题。;若通信过程中出现错误：; 用 三个字符组字，设组成的字有以下三种情况：;例题（续）;字的个数;小结;第2章 信源熵;连续信源;回忆离散信源中单符号信源熵的定义：;思路：将连续信源转化为离散信源后取极限进行计算。;连续信源的熵的计算(续);连续信源的熵的计算(续);定义 连续信源的熵;其他连续熵的定义;第2章 信源熵;;高斯分布的连续信源;指数分布的连续信源;第2章 信源熵;连续熵的性质;3. 平均互信息量的非负性、对称性;连续信源的最大熵;峰值功率受限时的最大熵;峰值功率受限时的最大熵证明;平均功率受限时的最大熵;得证;输出信号幅度受限条件下???最大熵;平均功率受限条件下的最大熵;定理 - 证明 续;结论.;第2章 信源熵;信息变差;熵功率;小结;本章结束