信息论-基础知识与应用第七章答题.ppt

*;7.1 失真度和平均失真度;(1) “消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率R小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C 的传输率来传送信息。反之，若R C，则传输总要失真。 完全无失真传送不可实现： 实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率R为无穷大； 实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量RC。;(2) 实际中允许一定程度的失真 技术发展的需要 随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来一定的信息损失。 人类社会已进入信息时代，信息爆炸的结果要求人们解决如何对浩如烟海的数据有效的压缩，减少数据的存储容量(如各种数据库、电子出版物、多媒体娱乐)、传输时间(如数据通信和遥测)、或占有带宽(如多媒体通信、数字音频广播、高清晰度电视)，要想方设法压缩给定消息 集合占用的空间域、时间域和频率域资源。 如海洋地球物理勘探遥测数据，用60路传感器，每路信号1KHz，16位A/D量化，每航测1Km就需记录1盘0.5英寸的磁带，一条测量船每年就可勘测15000Km，数据流之大可见一斑。;实际生活中的需要 实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。 例如打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。 放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。 有些失真没有必要完全消除。 ;在允许一定程度失真的条件下，能够把信源信息压缩到什么程度,即:最少需要多少比特数才能描述信源.也就是 在允许一定程度失真的条件下,如何能快速的传输信息.这就是信息率失真理论.;(3) 信息率失真理论 信息率失真函数 香农定义了信息率失真函数R(D)。[和失真度有关的平均互信息I（U，V）] 定理指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。 信息率失真理论是量化（模数转换）、数模转换、频带压缩和数据压缩的理论基础。;我们将信道编码和译码都看成是信道的一部分。 又根据信道编码定理，我们可以把信道编码、信道、信道译码这三部分看成是一个没有任何干扰的广义信道。这样收信者收到消息后所产生的失真(或误差)只是由信源编码带来的。 从直观感觉可知，若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的。 为了定量地描述信息传输率和失真的关系，我们用虚拟手法拿信道来表示失真信源编码的作用，把信源编码和信源译码等价成一个信道，由于是失真编码，所以信道不是一一对应的，用信道传递概率来描述编、译码前后的关系。一般此信道称为试验信道。;信源编码;现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。; 失真函数用来表征信源发出一个符号ui，而在接收端再现成符号vj 所引起的误差或失真。d(ui, vj)越小表示失真越小，等于0表示没有失真。 可以将所有的失真函数排列成矩阵的形式：;常用的失真函数 第一种 当i=j时，U与V的取值一样，用V来代表U就没有误差，所以定义失真函数为0； 当i≠j时，用V代表U就有误差。 这种定义认为对所有不同的i和j引起的误差都一样，所以定义失真函数为常数a。 失真矩阵的特点是对角线上的元素均为0，对角线以外的其它元素都为常数a。;当a=1时的失真函数称为汉明失真函数。 第二种：d(ui,vj)=(vj－ui)2 这种函数称为平方误差失真函数，失真矩阵称为平方误差失真矩阵。 若信源符号代表输出信号的幅度值，则较大的幅度失真比较小的幅度失真引起的错误更为严重，严重程度用平方表示。 失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素人为规定的。;三、平均失真度;平均失真度的意义 是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性p(ui) 、信道统计特性p(vj/ui )和失真度d(ui,vj)的函数 。当p(ui)，p(vj/ui )和d(ui,vj)给定后，平均失真度就不是一个随机变量了，而是一个确定的量。 如果信源和失真度一定， 就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。;N 次扩展信道的平均失真度 N次扩展 单符号离散无记忆信源U{u1,u2,…,ur}的N次扩展信源UN =u1u2…uN ，在信道中的传递作用相当于单符号离散无记忆信道的N次扩展