信息率失真函数.pptxVIP

第四章信息率失真函数

目录4.1失真测度4.2信息率失真函数及其性质4.3离散无记忆信源的信息率失真函数4.4连续无记忆信源的信息率失真函数4.5保真度准则下的信源编码定理

无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率小于信道容量，总能找到一种编码方法，使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。但是，无失真的编码并非总是必要的。

香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这从理论上给出信息传输率与允许失真的关系，奠定了信息率失真理论基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。

本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在此基础上论述保真度准则下的信源编码定理。

4．1失真测度4.1.1系统模型信源发出的消息X通过有失真信源编码，再通过理想无噪信道传输，接收信息经信源译码后的输出为Y，由于信源编码是有失真的编码，则输出的Y不是X的精确重现。为定量描述信息传输速率与失真的关系，假定传输信道为理想无噪信道。信源信宿无噪信道XYp(y/x)试验信道信源译码器信源编码器

另外，可将信源编码引起的失真视为由于信道不理想造成，即将有失真信源编码器和接收译码器之间过程看做有噪声的信道，这个假想的信道称为试验信道。则将有失真信源编码问题转化为无失真信源通过有噪信道传输的问题，进而通过研究试验信道输入输出间的互信息来研究限失真信源编码。

01从直观感觉可知，若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的。024.1.2失真度和平均失真度

0504020301首先讨论失真的测度。试验信道的输入X，取值于符号集A={a1,a2,…an}，信道输出为Y，取值于符号集B＝{b1,b2,…bm}。对应于每一对(x,y)，定义非负函数：称为单符号失真度（或失真函数）。通常较小的d值代表较小的失真，而d(ai,bj)＝0表示没有失真。

若信源变量X有n个符号，接收变量Y有m个符号，则d(xi,yj)就有n×m个，可排列成矩阵形式，即：失真矩阵[d]壹贰

[例1]离散对称信源(n=m)。信源变量X＝{a1,a2,…an}，接收变量Y＝{b1,b2,…bm}。单符号失真度：称为汉明失真。汉明失真矩阵是一方阵，对角线上的元素为零，即：对二元对称信源(n＝m＝2)，信源X＝{0,1}，接收变量Y＝{0,1}。在汉明失真定义下，失真矩阵为：壹贰

[例2]删除信源。信源变量X＝{a1,a2,…an}，接收变量Y＝{b1,b2,…bm}(m=n+1)。定义其单符号失真度为：其中接收符号bs作为一个删除符号。意味着若把信源符号再现为删除符号vs时，其失真程度要比再现为其他接收符号的失真程度少一半。若二元删除信源n＝2,m＝3,X＝{0,1},Y＝{0,2,1},失真度为：则d(0,0)=d(1,1)=0d(0,1)=d(1,0)=1d(0,2)=d(1,2)=1/2除j=s以外所有的j和i所有i

[例3]对称信源(n=m)。信源变量X＝{a1,a2,…an}，接收变量Y＝{b1,b2,…bm}。失真度定义为：若信源符号代表信号的幅度值，这就是以方差表示的失真度。表示幅度差值大要比差值小引起的失真更严重，严重程度用平方来表示，称为平方误差失真度。当n＝3时，X＝{0,1,2}，Y＝{0,1,2}，则失真矩阵为：

上述三个例子说明了具体失真度的定义。一般情况下根据实际信源的失真，可以定义不同的失真和误差的度量。另外还可以按其他标准，如引起的损失、风险、主观感觉上的差别大小等来定义失真度d(x,y)。

这里假设X是信源，Y是信宿，则X和Y间必有信道。实际这里X指的是原始的未失真信源，而Y是指失真以后的信源。则从X到Y之间实际上是失真算法，所以转移概率p(bj/ai)是指一种失真算法，有时又把p(bj/ai)称为试验信道的转移概率，如图所示。原始信源失真信源试验信道XYp(bj/ai)

平均失真度信源X和信宿Y都是随机变量，故单符号失真度d(ai,bj)也是随机变量，设其概率为p(aibj)，规定单符号失真度d(ai,bj)后，传输一个符号引起平均失真，即单符号平均失真，信源平均失真度：

若平均失真度D不大于允许的失真限定值D0，