第5章限失真信源编码详解.ppt

第5章 限失真信源编码 信息率失真函数 限失真信源编码定理 常用信源编码方法 第三章我们讨论了无失真信源编码。但是，在很多场合，特别是对于连续信源，因为其绝对熵为无限大，若要求无失真地对其进行传输，则要求信道的信息传输率也为无限大，这是不现实的。因此也就不可能实现完全无失真传输。 另一方面，从无失真信源编码定理来考虑，由于要求码字包含的信息量大于等于信源的熵，所以对于连续信源，要用无限多个比特才能完全无失真地来描述。 即使对于离散信源，由于处理的信息量越来越大，使得信息的存储和传输成本很高，而且在很多场合，过高的信息率也没有必要，例如：由于人耳能够接收的带宽和分辨率是有限的，因此对数字音频传输的时候，就允许有一定的失真，并且对欣赏没有影响。又如对于数字电视，由于人的视觉系统的分辨率有限，并且对低频比较敏感，对高频不太敏感，因此也可以损失部分高频分量，当然要在一定的限度内。等等…，这些，都决定了限失真信源编码的重要性。 在限失真信源编码里，一个重要的问题就是在一定程度的允许失真限度内，能把信源信息压缩到什么程度，即最少用多少比特数才能描述信源。 这个问题已经被香农解决。香农在1948年的经典论文中已经提到了这个问题，在1959年，香农又在他的一篇论文“保真度准则下的离散信源编码定理”里讨论了这个问题。研究这个问题并做出较大贡献的还有前苏联的柯尔莫郭洛夫（Kolmogorov）以及伯格（T. Berger）等。 信息率失真理论矢量化、数摸转换、频带压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，包括信源的失真度和信息率失真函数的定义与性质，离散信源和连续信源的信息率失真函数计算，介绍一些常用的限失真编码方法等。 5.1 平均失真和信息率失真函数 一、失真函数 设某信源输出的随机变量为X，其值集合为 ，经过编码后输出为 ，设 对应 ，如果 则认为没有失真。当 时，就产生了失真，失真的大小，用失真函数来衡量。失真函数的定义为 由于输入符号有n个，输出符号有m个,所以 共有 个，写成矩阵形式，就是 d被称为失真矩阵。 失真函数 的函数形式可以根据需要适当选取，如平方代价函数、绝对代价函数、均匀代价函数等： 平方失真： 绝对失真： 相对失真： 误码失真： 也可以按其它的标准，如引起的损失、风险、主观感觉上的差别等来定义失真函数。 二、平均失真 由于信源X和信宿Y都是随机变量，所以符号失真度函数也是一个随机变量，传输时引起的平均失真应该是符号失真度函数 在信源概率空间和信宿概率空间求平均，即 平均失真是符号失真函数在信源空间和信宿空间平均的结果，是描述某一信源在某一信道传输时失真的大小，是从整体上描述系统的失真情况。 三、信源符号序列的失真 从上面的单符号失真函数，可以得到信源符号序列的失真函数和平均失真度。由于序列时相当于是一个由单符号随机变量组成的随机矢量，仿照单符号时的情况，可得： 设信源输出的符号序列为 ，其中的每一个随机变量 取自同一符号集 ，所以X共有 种不同的符号序列，记为 ，接收到的符号为 式中每一个符号取自符号集 ，所以Y共有 种不同的符号序列，记为 ，则 失真函数矩阵应该是一个 的矩阵。故对L长的信源序列，其平均失真度为 平均每个符号的平均失真度为 当信源无记忆时， ，而 若平均失真度不大于我们所允许的失真D，即 我们称此为保真度准则。 四、信息率失真函数 在信源给定，并且也定义了具体的失真函数之后，我们总是希望在满足一定的失真限度要求的情况下，使信源最后输出的信息率R尽可能地小。也就是说，要在满足保真度准则下( )，寻找信源输出信息率R的下限值。如果将信源编码也看成是一个信道，构成了一类假想信道， 称为D允许信道（或D失真许可的试验信道），记为 对于离散无记忆信道，有 我们的目的，就是要在上述允许信道 中，寻找到一个信道P(Y/X)，使得从输入端传送过来的信息量最少，即I(X;Y)最小。这个最小的互信息就称为信息率失真函数R(D)，简称为率失真函数，即 其单位是比特/信源符号。 应当注意，在研究R(D)时，我们引用的条件概率