第4节 信息率失真函数.ppt

第四章 信息率失真函数 无失真信源编码和有噪信道编码（香农第一定理和香农第二定理）告诉我们： 只要信道的信息传输速率小于信道容量，总能找到一种编码方法，使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。 但是，无失真的编码并非总是必要的。 香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，重点讨论离散无记忆信源。 给出信源的失真度和信息率失真函数的定义与性质； 讨论离散信源和连续信源的信息率失真函数计算； 在此基础上论述保真度准则下的信源编码定理。 4.1 失真测度 一、失真度 从直观感觉可知，若允许失真越大，信息传输率就可越小；若允许失真越小，信息传输率需越大。 所以信息传输率与（信源）编码所引起的失真(或误差)是有关的。 首先讨论失真的测度。 离散无记忆信源X，信源符号集X＝{a1,a2,…,ar}，概率分布为p(x)＝[p(a1),p(a2),…p(ar)] 。 信源符号通过信道传输到接收端，接收端的接收符号集Y＝ {b1,b2,…bs} 。 对应于每一对(ai,bj)，我们指定一个非负的函数： 若信源变量X有r个符号，接收变量Y有s个符号，则d(ai,bj)就有r×s个,它可以排列成矩阵形式，即： 实际这里X指的是原始的未失真信源，而Y是指失真以后的信源。如果假设X是信源，Y是信宿，那么X和Y之间必有信道。 从X到Y之间实际上是失真算法，所以这里的转移概率p(bj/ai)是指一种失真算法， 有时又把 p(bj/ai) 称为试验信道的转移概率，如图所示。 [例1] 离散对称信源(r=s)，“0-1”失真。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs}。定义单个符号失真度： 这种失真称为汉明失真。汉明失真矩阵是一方阵，对角线上的元素为零，即： [例2] 删除信源。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} (s = r+1) 。定义其单个符号失真度为： 其中接收符号bs作为一个删除符号。 此时，意味着若把信源符号再现为删除符号bs时，其失真程度要比再现为其他接收符号的失真程度少一半。 二元删除信源 r ＝2， s ＝3，X＝{0,1}，Y＝{0,1 ,2} 。 失真度为： [例３] 对称信源(s = r) 。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} 。若失真度定义为： 如果信源符号代表信源输出信号的幅度值，这就是一种平方误差失真度。它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重，其严重的程度用平方来表示。 当 r＝3时， Ｘ＝{0,1,2}，Ｙ＝{0,1,2} ，则失真矩阵为： 二、序列失真度 三、 平均失真度 若平均失真度D不大于我们所允许的失真D0，即： D ? D0 称此为保真度准则。 4.2 信息率失真函数及其性质 一、信息率失真函数的定义 二、信息率失真函数的性质 4.3 离散无记忆信源的信息率失真函数 二、 信息率失真函数的参量表述 注：这时所得的结果是以s为参量的表达式，而不是显式表达式，因而所得到的R(D)的表达式也是以s为参量的表达式。 参量s对应的限制条件为(4)式，它与允许的失真度D有关，所以，以s为参量就相当于以D为参量。 (4) [例6] 设离散信源 和接收变量： 并设失真矩阵为: 求该信源的信息率失真函数R(D)。 解：根据(4.2.4)式计算可得 ，由题已知， 根据参量表达式按如下步骤进行。 第一步：由式(4.3.14)求 第二步：由式(4.3.13)求 第三步：由式(4.3.16)求D(s)，将上述结果代入式(4.3.16)有 第四步：由式(4.3.17)求R(s) ： 应用式(4.3.11)，还可求得此时的试验信道转移概率： * 原始图像 红色图像 绿色图像 蓝色图像 原始图像和限失真图像 称为单个符号的失真度(或失真函数)。 通常较小的d值代表较小的失真，而d(ai,bj)＝0表示没有失真。 该失真矩阵D，是 r×s 阶矩阵。 原始信源 失真信源 试验信道 信道 X Y p (bj/ai) 　　　对二元对称信源(s＝r＝2)，信源X＝{0,1}，接收