信息论导论--第2章信源熵续3.ppt

上一讲复习 多符号离散信源联合熵；条件熵 离散平稳信源、联合熵 离散平稳无记忆信源、联合熵 马尔科夫信源及其极限熵(未完代续) 冗余度与结构信息 可利用一些编码的方法删去它们，从而达到减少冗余压缩数据的目的。 图像压缩编码 (1)无损压缩编码 (2)有损压缩编码 (3)混合编码，如 H261，JPEG，MPEG等技术标准 简单地说，如果没有数据压缩技术，我们就没法用 WinRAR 为 Email 中的附件瘦身；如果没有数据压缩技术，市场上的数码录音笔就只能记录不到 20 分钟的语音；如果没有数据压缩技术，从 Internet 上下载一部电影也许要花半年的时间 衡量一个压缩编码方法优劣的重要指标 (1)压缩比要高； (2) 算法简单，硬件实现容易； (3)解压缩的图像质量要好。 信道前向纠错编码（FEC）技术通过在传输码列中加入冗余纠错码，在一定条件下，通过解码可以自动纠正传输误码，降低接收信号的误码率（BER）。衡量FEC纠错能力的指标称为“FEC编码增益”，该增益越强表示纠错性能越强。 汉明码、奇偶校验码、RS码、Turbo码、LDPC等 纠错性能、码率、实现复杂度 或者定义 * 信源熵 * 2010年3月 信息论导论 通信与信息工程学院 杨海芬 yanghf@uestc.edu.cn 四、马尔科夫信源及其极限熵 1、马尔科夫信源 定义 N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源。 马尔科夫信源是离散平稳有限记忆信源，其记忆长度为m 。* m阶马尔科夫信源符号序列的长度N=m+1。 表示 状态转移图 马尔科夫链 表示 马尔科夫信源可以用状态转移图表示吗？* 用状态表示的m阶马尔科夫信源等效于用状态转移图描述的马尔科夫链。 例1 状态转移图 s1 s2 s3 s4 0.2 0.8 0.5 0.5 设状态s1=00、s2=01、s3=10、s4=11 s1 s2 s3 s4 0.2 0.8 0.5 0.5 0.5 0.5 0.2 0.8 2、马尔科夫链的遍历定理 马尔科夫链的遍历 从任何一个状态出发，可以通过有限步到达任何其他状态，该马尔科夫链是遍历的。 非遍历的马尔科夫链存在吸收态。 非遍历马尔科夫链的例子 s1 s2 s3 s4 1 0.5 0.5 0.5 0.5 1 马尔科夫链的遍历定理 3、马尔科夫信源的极限熵 极限熵定理 N→∞时， N维离散平稳信源平均符号熵的极限存在且等于N阶条件熵的极限值，称为N维离散平稳信源的极限熵，用H∞表示。 即使N→∞，m阶马尔科夫信源符号序列的有效长度只有m+1。 强调m阶马尔科夫信源的长度特征，一般其极限熵H∞记为Hm+1 例2 图示二元二阶马尔科夫信源的极限熵 求极限熵 求m阶条件熵 s1 s2 s3 s4 0.2 0.8 0.5 0.5 0.5 0.5 0.2 0.8 遍历定理 完备性 五、冗余度与结构信息 1、冗余度 冗余 压缩 信息论的创始人Shannon提出把数据看作是信息和冗余度（redundancy）的组合。 如在一份计算机文件中，某些符号会重复出现、某些符号比其他符号出现得更频繁、某些字符总是在各数据块中可预见的位置上出现等，这些冗余部分便可在数据编码中除去或减少。 相邻的数据之间存在着相关性。如图片中常常有色彩均匀的背影，电视信号的相邻两帧之间可能只有少量的变化影物是不同的，声音信号有时具有一定的规律性和周期性等等。 人们由于耳、目对信号的时间变化和幅度变化的感受能力都有一定的极限 信源编码 冗余 纠错 信道编码 中华人民共和国 中国 *华人民*和国 *国 实际信源抽象为N维离散平稳信源，H∞是其熵率，即从理论上看，只要传送H∞就可以了。 但是这必须掌握信源的全部统计特性，这显然是不现实的。实际中，只能掌握有限记忆长度m，其熵率用Hm+1近似，即需要传送Hm+1 与理论值相比，多传送了Hm+1-H∞ 由于Hm+1H∞，表现在信息传输上存在冗余。 抽象描述 定义 信源的m阶极限熵Hm+1与N-1阶极限熵H∞的相对差为该信源的冗余度，也叫剩余度。 表示 信源的冗余度表示信源可以被压缩的程度 * 正是由于信源存在冗余度，所以存在着进一步压缩的可能性。冗余度越大，压缩潜力越大。它是信源编码、数据压缩的前提与基础。 H0：相同符号数的最大值 例1 英文信源的熵率 英文信源用m阶马尔可夫信源近似，最大熵及各阶极限熵 （1）近似为无记忆信源(零阶马尔可夫信源)且字母等概率分布 最大熵 （2）近似为无记忆信源，字母的概率分布 英文字母不等概率分布图 空格