第五篇 信息率失真函数1.ppt

5.1引言 无失真信源编码－针对无失真情况； 限失真信源编码－允许有一定的失真情况； 实际信息处理过程允许有一定的失真： A/D变换 电影电视－利用视觉残留，没有发觉影片是有一张张画面 快速连结起来 语音信号传送－耳朵带宽和分辨率有限，将20Hz~8KHz语音信号去掉低端和高端看成300Hz~3.4KHz带宽信号，即使有失真，耳朵还是可以分辨出原来的语音。 本章讨论主要问题： 在允许一定失真存在的条件下，能够将信源信息压缩到什么程度，即最少需要多少比特信息才能够描述信源，如何能够快速的传输信息。 信息率失真理论的基本概念： 在允许传输消息出现一定的失真条件下，传输该消息所需的信息率(最小值)将会比不允许失真时小，并且允许的失真度越大，则信息率(最小值)允许减小的程度就越大。 5.2平均失真和信息率失真函数 失真函数性质： 消息传输图 例：已知X={0,1,2,3,4,5}，Y={0,1,2}，X和Y集合符号之间的失真函数值分别为d00=d11=d22=0，d30=d31=d41=d42=d50=d52=1，d01= d02 = d10 =d12=d20=d21=2，d32=d40=d51=3。 这些失真函数值的由来可形象化地用正六角形表示，其中每条边相当于失真函数值为1。 保真度（失真度）准则： 若平均失真函数不大于所允许的失真度D，即 称为保真度准则。 平均互信息量的凸函数性 (1) I(X;Y) 是信源概率分布P(X) 的上凸函数 （最大值）——信道容量 (2) I(X;Y) 是信道转移概率P(Y/X) 的下凸函数 （最小值）——率失真函数 二进制对称信道 q不变时, I(X;Y)为信源概率分布p的上凸曲线 p=0.5时有最大值; p不变时, I(X;Y)为信道转移概率q的下凸曲线，q=0.5时有最小值 说明： （1）在研究信息率失真函数R(D)时，引用的信道传输概率 p(yj|xi)并没有实际信道的含义，是为了求平均互信息量极小值而引用的假想可变试验信道。不同的试验信道特性，可求解出不同的信息率失真R’(D)函数，它与理论上最佳的R(D)之间存在着差异，反映了不同方式信源编码性能的优劣，这也正是R(D)函数的理论价值所在。 （2）对连续信源，无失真是毫无意义的，这时R(D)函数具有更大的价值。实际上，这些信道特性仅仅反映不同的有失真信源编码或信源压缩编码。因此，改变试验信道求平均互信息量的极小值，实质上是选择一种信源编码方法使信息传输速率最小。 （3）研究信息率失真函数是为了解决在已知信源和允许失真度的条件下，如何使信源传送给信宿的信息量最小的问题，也就是说在一定失真度D条件下，尽可能用最少的码符号来传送信源消息，使信源消息尽快地传送出去，以提高通信的有效性。 限失真信源编码定理(香农第三定理) 限失真信源的信息率用R(D)描述，若所采用信道的信道容量为C，当CR(D)时，则限失真信源的有效性编码存在；反之，若CR(D)时，则限失真信源的有效性编码就不存在。 阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。 二元离散信源的R(D) 二元离散信源的R(D) 二元离散信源的R(D) 二元离散信源的R(D) 二元对称信源的R(D) 右图为ω取值不同时的R(D)曲线。 对于同一D，信源分布越均匀，R(D)就越大，信源压缩的可能性越小。反之若信源分布越不均匀，即信源剩余度越大，R(D)就越小，压缩的可能性越大。 信息论“三大定理”总结 香农信息论的三个基本概念—信源熵、信道容量、信息率失真函数，都是临界值，是从理论上衡量通信能否满足要求的重要界限。 ??香农的三个基本编码定理—无失真信源编码定理、信道编码定理、限失真信源编码定理，这是三个理想编码的存在性定理。分别又称为香农第一、第二、第三定理。 ??虽然三个定理都指出理想编码是存在的，但如何寻找编码以及能否做到“理想编码”，则完全是另外一回事。正是信源编码或信道编码所要讨论的问题。 信息论“三大定理”总结 信息论“三大定理”总结 信息论“三大定理”总结 则： 例2：若有一n元等概率、平稳无记忆信源X，且失真函数的消息传输图和失真矩阵分别为图所示： 试求R(D) 信道矩阵为： 将A代入信道矩阵中，有： 输出 概率 信息率失真函数 无失真时，即D=0 ； ； 有失真时，假设D=0.2 ① K2 K4 K8，进制n越小，压缩比