(信息论基础)第六章限失真信源编码.ppt

Dmax和R(Dmax） 不允许任何失真时，平均传送一个信源符号所需的信息率最大，即必须等于信源熵，这也是平均互信息的上限值。当允许一定失真存在时，传送信源符号所需的信息率就可小些。反过来说，必须的信息率越小，容忍的失真就越大。当R(D)等于零时，对应的平均失真最大，也就是R(D)函数定义域的上界值Dmax 信息率失真函数的性质 Dmax和R(Dmax） 定义：对于给定信源X，其信源的概率分布： p(xi) ，在选定的失真函数d(xi,yj)下，能使平均互信息量I(X;Y) =0的最小平均失真度为允许平均失真度的上界值。 信息率失真函数的性质 信息率失真函数是D的下凹型函数 信息率失真函数是定义域的单调递减函数 信息率失真函数是D的连续函数 信息率失真函数的性质 设一离散平稳无记忆信源的输出随机变量序列为 X=(X1,X2,…,XL)，若该信源的信息率失真函数是 R(D)，并选定有限的失真函数。对于任意允许平均失真度 D≥0，和任意小的ε0，当信息率 RR(D) ，只要信源序列长度 L 足够长，一定存在一种编码方式 C，使译码后的平均失真度 ；反之，若 RR(D)，则无论用什么编码方式，必有 ，即译码平均失真必大于允许失真。 限失真信源编码定理 信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。 限失真信源编码定理 * 信息论基础Fundaments of Information Theory春季 2013 李富年 武汉科技大学信息科学与工程学院 lifunian@ 第六章 限失真信源编码 限失真信源编码的概念 失真测度 信息率失真函数及其性质 信息率失真函数的意义 限失真信源编码 限失真信源编码的概念 问题的引入： 根据信道编码定理，信道不可能实现对消息的完全无失真传输。 例： 连续信源 信息绝对熵无穷大 限失真信源编码的概念 问题的引入： 在实际生活中，人们并不要求获得完全无失真的消息，通常只要求近似地再现原消息，也就是允许一定的失真存在。 例 ：语音信息：实际20kHz----8kHz ，去掉低 端和高端的频率，变为人耳接收的300－3400Hz 例 ：图像信息：每个像素的黑白灰度只需要 256级，画面就足够清晰了。 限失真信源编码的概念 既然允许一定的失真存在，那么对信息 率的要求便可降低。换句话说，就是允许压缩 信源输出的信息率。信息率与允许失真之间的 关系，就是信息率失真理论所要研究的内容。 限失真信源编码的概念 例：电报： 1：母亲患癌症，情况危急，请速归。 3：病危归 2：母病危速归 无失真 有失真 限失真信源编码的概念 例：图像 无失真 有失真 原始图像 压缩后图像 限失真信源编码的概念 香农定义了信息率失真函数R(D)，还论 述了关于这个函数的基本定理，定理指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)值。 信源符号经过信道传输到接收端Y 失真测度 设离散无记忆信源为 信道的传递概率矩阵 对每一对 ，指定一个非负函数 失真测度 称 为单个符号的失真度/失真函数。 表示信源发出一个符号 ，在接收端 再现 所引起的误差或失真。 失真度还可表示成矩阵的形式: 失真测度 这个矩阵[D]完整地表示了信道 的各种可能的失真函数，故称矩阵[D]为信道 的失真矩阵 例：设信源符号集 信道输出符号集 失真测度 在这样的规定下，定义的失真函数为 相应的失真矩阵为 失真测度 在这样的规定下，定义的失真函数为 相应的失真矩阵为 这种失真函数称为汉明失真函数 失真测度 相应的失真矩阵为 对于二进制对称信道来说 例2：设信源符号集 信道输出符号集 失真测度 在这样的规定下，定义的失真函数为 相应的失真矩阵为 失真测度 如: 信源X的符号集{0，1}， 信道输出符号集{0，？，1} 相应的失真矩阵为 例3：设信源符号集 信道输出符号集 失真测度 相应的失真矩阵为 在这样的规定下，定义的失真函数为 失真测度 如 信源X的符号集{0，1，2}， 信道输出符号集{0，1，2} 相应的失真矩阵