第五章信息率失真函数讲解.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 例2：若有一n元等概率、平稳无记忆信源X，且失真函数的消息传输图和失真矩阵分别为图所示： 试求R(D) 信道矩阵为： 将A代入信道矩阵中，有： 输出 概率 信息率失真函数 无失真时，即D=0 ； ； 有失真时，假设D=0.2 ① K2 K4 K8，进制n越小，压缩比K越大； ② 随着允许失真度D的增加，压缩比K随之增加，但相对关系不变 引用拉氏乘子法。约束条件为下列 (n+1)组等式： R(D)的参量表达式 求互信息 的极小值。 信息论“三大定理”总结 香农信息论的三个基本概念—信源熵、信道容量、信息率失真函数，都是临界值，是从理论上衡量通信能否满足要求的重要界限。 ??香农的三个基本编码定理—无失真信源编码定理、信道编码定理、限失真信源编码定理，这是三个理想编码的存在性定理。分别又称为香农第一、第二、第三定理。 ??虽然三个定理都指出理想编码是存在的，但如何寻找编码以及能否做到“理想编码”，则完全是另外一回事。正是信源编码或信道编码所要讨论的问题。 信息论“三大定理”总结 信息论“三大定理”总结 信息论“三大定理”总结 * * * * * * * * * * * * * * * * * * * * * （3）研究信息率失真函数是为了解决在已知信源和允许失真度的条件下，如何使信源传送给信宿的信息量最小的问题，也就是说在一定失真度D条件下，尽可能用最少的码符号来传送信源消息，使信源消息尽快地传送出去，以提高通信的有效性。 （4）信息率失真函数的物理意义：对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩的最小值为R(D)。 限失真信源编码定理(香农第三定理) 信源编码器的目的： 使编码后所需的信息传输率R尽量小,给出一个失真的限制值D，在满足保真度准则条件下，选择一种编码方法，使信息率R尽可能小。 例1： 阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。 例2：设信源具有100个以等概率出现的符号a1， a2，…， a99，a100，并以每秒发出一个符号的速率从信源输出。试求在允许失真度D＝0.1条件下，传输这些消息所需要的最小信息率？ 解：在不失真传输条件下的信息率R为： 因为允许失真度D＝0.1，可设想信源100个符号经过假想的试验信道只输出a1， a2，…， a89，a90，即输出90个符号，而余下的a91，…， a100 都用a90代替 该试验信道及信道传输速率示意图如下： 信源 a1, a2,..., a99, a100 试验信道 {p(yj|xi)} 无扰离散 信道 失真信源 a1～a100 a1～a90 (a) X Y a1 a2 a90 a91 a100 a90 a2 a1 (b) 除a1， a2，…， a89，a90对应位置上的元素为0外，其余元素为1或∞（假想试验信道传输概率P(yj|xi)为零时，所对应的dij为无限大） 该失真信源的组合方案的平均失真函数为： 上式中： X1＝Y1＝{a1， a2，…， a89，a90}，属于不失真的符号集合，对应dij＝0，其中i,j＝1，2，…，90 X2＝{a91，…， a100}，Y2＝{a90}，属于失真集合，对应dij＝1，其中i＝91，91，…，100，j＝90 据题意，P(xi)＝1/100（i＝1，2，…，100） 所以得平均失真函数： 可见，这样设想的失真信源的组合方案能满足对失真度的要求。 该试验信道为无噪有损信道，即H(Y|X)=0,所以 R=I(X;Y)=H(Y)-H(Y|X)=H(Y) 在试验信道的输出端Y，a1， a2，…， a89的出现概率仍为1/100,而a90的出现概率P(a90)＝11/100，可知相应的信息传输速率为： 比较 R’与无失真传输条件下的信息率R ,可知在D＝0.1的条件下，所需信息率减小了6.644－6.264＝0.38 bit/s。 同理，在D＝0.5的条件下(假定后50个符号均产生失真，这后50个符号均用a50来代替)信息率R”为： 与无失真传输条件下的信息率R想比较减小 6.644－3.751＝2.893 bit/s。