信源熵马尔科夫信源和极限熵.pptVIP

信源熵马尔科夫信源和极限熵18/39完备性信源熵马尔科夫信源和极限熵19/39信源熵马尔科夫信源和极限熵20/39五、冗余度与结构信息1.冗余度冗余压缩信息论创始人Shannon提出把数据看作是信息和冗余度（redundancy）组合。如在一份计算机文件中,一些符号会重复出现、一些符号比其它符号出现得更频繁、一些字符总是在各数据块中可预见位置上出现等,这些冗余部分便可在数据编码中除去或降低。相邻数据之间存在着相关性。如图片中经常有色彩均匀背影,电视信号相邻两帧之间可能只有少许改变影物是不一样,声音信号有时含有一定规律性和周期性等等。人们因为耳、目对信号时间改变和幅度改变感受能力都有一定极限信源编码信源熵马尔科夫信源和极限熵21/39可利用一些编码方法删去它们,从而到达降低冗余压缩数据目标。图像压缩编码(1)无损压缩编码(2)有损压缩编码(3)混合编码,如H261,JPEG,MPEG等技术标准简单地说,假如没有数据压缩技术,我们就没法用WinRAR为Email中附件瘦身；假如没有数据压缩技术,市场上数码录音笔就只能统计不到20分钟语音；假如没有数据压缩技术,从Internet上下载一部电影可能要花六个月时间衡量一个压缩编码方法优劣主要指标(1)压缩比要高；(2)算法简单,硬件实现轻易；(3)解压缩图像质量要好。信源熵马尔科夫信源和极限熵22/39信道前向纠错编码（FEC）技术经过在传输码列中加入冗余纠错码,在一定条件下,经过解码能够自动纠正传输误码,降低接收信号误码率（BER）。衡量FEC纠错能力指标称为“FEC编码增益”,该增益越强表示纠错性能越强。汉明码、奇偶校验码、RS码、Turbo码、LDPC等纠错性能、码率、实现复杂度冗余纠错信道编码信源熵马尔科夫信源和极限熵23/39中华人民共和国中国*华人民*和国*国信源熵马尔科夫信源和极限熵24/39实际信源抽象为N维离散平稳信源,H∞是其熵率,即从理论上看,只要传送H∞就能够了。不过这必须掌握信源全部统计特征,这显然是不现实。实际中,只能掌握有限记忆长度m,其熵率用Hm+1近似,即需要传送Hm+1与理论值相比,多传送了Hm+1-H∞因为Hm+1H∞,表现在信息传输上存在冗余。抽象描述信源熵马尔科夫信源和极限熵25/39定义信源m阶极限熵Hm+1与N-1阶极限熵H∞相对差为该信源冗余度,也叫剩下度。表示信源冗余度表示信源能够被压缩程度*信源熵马尔科夫信源和极限熵26/39或者定义正是因为信源存在冗余度,所以存在着深入压缩可能性。冗余度越大,压缩潜力越大。它是信源编码、数据压缩前提与基础。H0:相同符号数最大值信源熵马尔科夫信源和极限熵27/39例1英文信源熵率信源熵马尔科夫信源和极限熵28/39信源熵杨海芬yanghf@uestc.edu.cn安德雷·马尔可夫(AndreiMarkov1856－1922），俄国数学家。1874年马尔可夫入圣彼得堡大学，师从切比雪夫，1886年当选为圣彼得堡科学院院士。开创了随机过程这个新领域，以他名字命名马尔可夫链在当代工程、自然科学和社会科学各个领域都有很广泛应用。马尔可夫性：一个过程“未来”仅依赖“现在”而不依赖“过去”“基于马尔可夫链我国城镇居民收入演进分析”

即使N→∞，m阶马尔科夫信源符号序列有效长度只有m+1。信息论创始人Shannon提出把数据看作是信息和冗余度（redundancy）组合。如在一份计算机文件中，一些符号会重复出现、一些符号比其它符号出现得更频繁、一些字符总是在各数据块中可预见位置上出现等，这些冗余部分便可在数据编码中除去或降低。相邻数据之间存在着相关性。如图片中经常有色彩均匀背影，电视信号相邻两帧之间可能只有少许改变影物是不一样，声音信号有时含有一定规律性和周期性等等。人们因为耳、目对信号时间改变和幅度改变感受能力都有一定极限信道前向纠错编码（FEC）技术经过在传输码列中加入冗余纠错码，在一定条件下，经过解码能够自动纠正传输误码，降低接收信号误码率（BER）。衡量FEC纠错能力指标称为“FEC编码增益”，该增益越强表示纠错性能越强。汉明码、奇偶校验码、RS码、Turbo码、LDPC等纠错性能、码率、实现复杂度正是因为信源存在冗余度，所以存在着深入压缩可能性。冗余度越大，压缩潜力越大。它是信源编码、数据压缩前提与基础。英文字母前后存在一定依赖关系，如t后出现h、r可能性较大。实际信源为全记忆信源，熵率为H∞，考虑到可实现性，普通取