第6章 限失真源编码.pptVIP

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第6章　限失真信源编码 连续信源的信源熵和信道容量都达到无穷大，从无失真信源编码和有噪信道编码定理来看，无论如何编码都会存在失真。 本章主要讨论在信源允许一定失真情况下所需的最少信息率，从分析失真函数、平均失真出发，求出信息率失真函数R(D)，进而给出限失真编码定理。 1959年，“保真度准则下的离散信源编码定理” 6.1 失真测度 失真函数 平均失真 保真度准则 失真函数 在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。 直观而言，允许失真越大，信息传输率可以越小；若允许失真越小，信息传输率需要越大。 失真函数 假如某一信源X，xi?{a1,…an}，经过有失真的信道传输输出Y，yj ?{b1,…bm}。指定非负函数 若xi＝yj，则认为没有失真；若xi ? yj，那么就产生了失真。这个函数用以衡量用yj代替xi所引起的失真程度。 失真矩阵：单个符号失真度的全体构成的矩阵 平均失真 由于xi和yj都是随机变量，所以失真函数d(xi，yj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真，记为： 保真度准则 保真度准则：给定失真D，如果平均失真度 不大于D. D失真许可的实验信道：信源给定，单个符号失真度给定，满足保真度准则的信道。 满足保真度准则下，寻找信源必须传输给收信者的信息量R的下限值。也就是希望在满足一定失真的情况下，使得信息传输率R尽可能小。 信息率失真函数R(D) 信息率R是所需输出的有关信源X的信息量。接收端获得的平均信息量，是互信息I(U;V)。互信息取决于信源分布和信道转移概率分布，当p(ui)一定时，I是关于p(vj/ui) 的凸函数，存在极小值。 在允许信道PD中，可以寻找一种信道pij，使给定的信源p(ui)经过此信道传输后，互信息达到最小。该最小的互信息就称为信息率失真函数R(D)： 研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给用户的信息量最小。就是在一定失真度D条件下，尽可能用最少的码符号来传送信源信息，使得信源的消息尽可能快的传送出去。以提高有效性。属于信源编码问题。 6.2 信息率失真函数的性质 R(D)函数的定义域 ⑴ Dmin和R(Dmin) 实际中，一般Dmin＝0, 当失真矩阵每行至少一个0，每列至多一个0时，满足 例1：U取值{0,1},V取值{0,1,2},失 真矩阵 例2：U等概取值{0,1,2},V取值{0,1},失真矩阵 (2) Dmax和R(Dmax) 2、R(D)是允许失真度D的U形凸函数 3、R(D)函数的单调递减性和连续性 容许的失真度越大，所要求的信息率越小。反之亦然。并且当DminDDmax时，R(D)是严格递减的。 综上所述，可以得出如下结论： R(D)是非负实数，R(D) ? 0。定义域为0～Dmax，其值为0～H(U)。当DDmax时，R(D) ? 0。 R(D)是关于D的U形凸函数，因而也是关于D的连续函数。 R(D)是关于D的严格递减函数。 6.2.3 离散信源和连续信源的R(D)计算 7.3 限失真信源编码定理 信息率失真函数给出了失真小于D时所必须具有的最小信息率R(D)； 只要信息率大于R(D)，一定可以找到一种编码，使译码后的失真小于D。 限失真信源编码定理： 设离散无记忆信源X的信息率失真函数R(D)，则当信息率RR(D)，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D＋?，?为任意小的正数。反之，若RR(D)，则无论采用什么样的编码方法，其译码失真必大于D。 7.3 限失真信源编码定理 在失真限度内使信息率任意接近R(D)的编码方法存在。然而，要使信息率小于R(D)，平均失真一定会超过失真限度D。 对于连续平稳无记忆信源，无法进行无失真编码，在限失真情况下，有与上述定理一样的编码定理。 限失真信源编码定理只能说明最佳编码是存在的，而具体构造编码方法却一无所知。因而就不能象无损编码那样从证明过程中引出概率匹配的编码方法。一般只能从优化的思路去求最佳编码。实际上迄今尚无合适的可实现的编码方法可接近R(D)这个界。 在允许一定失真度的情况下，信源的R(D)可以作为衡量各种压缩编码方法性能优劣的一种尺度 * * 均方失真： 相对失真： 误码失真： 绝对失真： 前三种失真函数适用于连续