第2章信源熵马尔科夫信源及极限熵.pptVIP

英文字母前后存在一定的依赖关系，如t后出现h、r的可能性较大。 零阶极限熵(无条件熵) 一阶极限熵 （3）近似为一阶马尔可夫信源，考虑字母的一阶条件概率分布 （5）近似为全记忆信源(香农以m=100估计)，N-1阶极限熵 （4）近似为二阶马尔可夫信源，考虑字母的二阶条件概率分布，二阶极限熵 … 实际信源为全记忆信源，熵率为H∞，考虑到可实现性，一般取有限记忆长度m，熵率用Hm+1近似，Hm+1H∞，在信息传输上存在冗余。 英文信源近似为无记忆信源且等概时，冗余度 英文信源的冗余度的计算 信源的冗余度表示信源可以被压缩的程度 英文信源近似为无记忆信源但概率分布已知时，冗余度 英文信源近似为一阶马尔可夫信源，冗余度 英文信源近似为二阶马尔可夫信源，冗余度 … 2、结构信息 定义 信源的m阶极限熵Hm+1与N-1阶极限熵H∞之差为该信源的结构信息。 表示 英文信源近似为无记忆信源且等概时，结构信息 英文信源近似为无记忆信源但概率分布已知时，结构信息 英文信源近似为一阶马尔可夫信源，结构信息 英文信源近似为二阶马尔可夫信源，结构信息 … 习题：(P68-70) 2.16、2.17 信源熵 * 信息论导论 通信与信息工程学院 杨海芬 yanghf@uestc.edu.cn 单符号离散信源联合熵 多符号离散信源联合熵；条件熵 离散平稳信源、联合熵 离散平稳无记忆信源、联合熵 马尔科夫信源及其极限熵 冗余度与结构信息 四、马尔科夫信源及其极限熵 安德雷·马尔可夫(Andrei Markov 1856－1922），俄国数学家。 1874年马尔可夫入圣彼得堡大学，师从切比雪夫，1886年当选为圣彼得堡科学院院士。 开创了随机过程这个新的领域，以他的名字命名的马尔可夫链在现代工程、自然科学和社会科学各个领域都有很广泛的应用。 马尔可夫性：一个过程的“将来”仅依赖“现在”而不依赖“过去” 马尔可夫链的应用 排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算术编码 著名的LZMA数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码。 生物学应用， 人口过程，可以帮助模拟生物人口过程的建模。 隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。 马尔可夫链最近的应用是在地理统计学（geostatistics）中,被称为是“马尔可夫链地理统计学”。仍在发展过程中。 “基于马尔可夫链的我国城乡居民收入演进分析” 四、马尔科夫信源及其极限熵 1、马尔科夫信源 定义 N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源。 马尔科夫信源是离散平稳有限记忆信源，其记忆长度为m 。* m阶马尔科夫信源符号序列的长度N=m+1。 表示 状态转移图 马尔科夫链 表示 马尔科夫信源可以用状态转移图表示吗？* 用状态表示的m阶马尔科夫信源等效于用状态转移图描述的马尔科夫链。 例1 状态转移图 s1 s2 s3 s4 0.2 0.8 0.5 0.5 设状态s1=00、s2=01、s3=10、s4=11 s1 s2 s3 s4 0.2 0.8 0.5 0.5 0.5 0.5 0.2 0.8 2、马尔科夫链的遍历定理 马尔科夫链的遍历 从任何一个状态出发，可以通过有限步到达任何其他状态，该马尔科夫链是遍历的。 非遍历的马尔科夫链存在吸收态。 非遍历马尔科夫链的例子 s1 s2 s3 s4 1 0.5 0.5 0.5 0.5 1 马尔科夫链的遍历定理 3、马尔科夫信源的极限熵 极限熵定理 N→∞时， N维离散平稳信源平均符号熵的极限存在且等于N阶条件熵的极限值，称为N维离散平稳信源的极限熵，用H∞表示。 即使N→∞，m阶马尔科夫信源符号序列的有效长度只有m+1。 强调m阶马尔科夫信源的长度特征，一般其极限熵H∞记为Hm+1 例2 图示二元二阶马尔科夫信源的极限熵 求极限熵 求m阶条件熵 s1 s2 s3 s4 0.2 0.8 0.5 0.5 0.5 0.5 0.2 0.8 遍历定理 完备性 五、冗余度与结构信息 1、冗余度 冗余 压缩 信息论的创始人Shannon提出把数据看作是信息和冗余度（redundancy）的组合。 如在一份计算机文件中，某些符号会重复出现、某些符号比其他符号出现得更频繁、某些字符总是在各数据块中可预见的位置上出现等，这些冗余部分便可在数据编码中除去或减少。 相邻的数据之间存在着相关性。如图片中常常有色彩均匀的背影，电视信号的相邻两帧之间可能只有少量的变化影物是不同的，声音信号有时具有一定的规律性和周期性等等。 人们由于耳、目对信号的时间变化和幅度变化的感受能力都有一定的极限 信源编码 可利用一些编码的方法删去它们，从而达到减少冗余压缩数据的目的。 图像压缩编码 (1)无损压缩编码 (2