信息率失真函数.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 二元对称信源的R(D) * 二元对称信源的R(D) 取值不同时的ω曲线。由此可见，对于同一D，信源分布越均匀，R(D)就越大，信源压缩的可能性越小。反之若信源分布越不均匀，即信源剩余度越大，R(D)就越小，压缩的可能性越大。 * 二元对称信源的R(D) 从反向试验信道来计算I(X;Y)。但这反向试验信道实际就是正向试验信道，它们只是一个信道从两个不同角度考虑的两种不同表示方法。 * r元对称信源R(D) * r元对称信源R(D) * r元对称信源R(D) * 对于同一失真度D，r越大，R(D)越大，信源压缩性越小。若把r的取值看成为信源分层后的符号数，即r越大就表示信源分层数越多。那么，在满足相同的允许失真要求下，分层越多．信源的可压缩性就越小。反之，分层越少，信源的可压缩性就越大。这些规律对于实际信源的量化分层、数据乐缩是有深刻的指导意义的。 在以上两个例子中，我们采用了汉明失真度，此时平均失真度就等于平均错误概率，使得问题简化，很容易计算出信息率失真函数。当然也可采用前一节参量法计算得到同样的结果。但汉明失真度并不是最好的失真度量。从实用意义上说．研究符合实际信源主观要求的、合理的失真函数是很重要的。 r元对称信源R(D) * 5.4 信息率失真函数的计算 可见，求解R(D)实质上是求解互信息的条件极值，可采用拉氏乘子法求解。但是，在一般情况下只能求得用参量（ R(D)的斜率S）来描述的参量表达式，并借助计算机进行迭代运算。 由信道容量C与R(D)数学上对偶关系： 其迭代运算与求信道容量迭代运算相仿的。我们这里只介绍特殊情况下的R(D)计算。 * 具有等概率、对称失真信源的R(D)计算 例1：有一个二元等概率平稳无记忆信源X，信宿为Y，且失真函数为： 试求其R(D)=? * 这时，由概率归一性，可进一步假设： 可见： * 代入失真度公式，有 再将它代入转移概率公式中： 由： ，得： * 则： * * 例2：若有一n元等概率、平稳无记忆信源X，且失真函数的消息传输图和失真矩阵分别为图所示： 试求R(D) * 信道矩阵为： * 将A代入信道矩阵中，有： * 输出 概率 信息率失真函数 * 无失真时，即D=0 ； ； 有失真时，假设D=0.2 ① K2 K4 K8，进制n越小，压缩比K越大； ② 随着允许失真度D的增加，压缩比K随之增加，但相对关系不变 * 引用拉氏乘子法。约束条件为下列 (n+1)组等式： R(D)的参量表达式 求互信息 的极小值。 * 信息论“三大定理”总结 香农信息论的三个基本概念—信源熵、信道容量、信息率失真函数，都是临界值，是从理论上衡量通信能否满足要求的重要界限。 ??香农的三个基本编码定理—无失真信源编码定理、信道编码定理、限失真信源编码定理，这是三个理想编码的存在性定理。分别又称为香农第一、第二、第三定理。 ??虽然三个定理都指出理想编码是存在的，但如何寻找编码以及能否做到“理想编码”，则完全是另外一回事。正是信源编码或信道编码所要讨论的问题。 * 信息论“三大定理”总结 * 信息论“三大定理”总结 * 信息论“三大定理”总结 * * * * * * * * * * （3）研究信息率失真函数是为了解决在已知信源和允许失真度的条件下，如何使信源传送给信宿的信息量最小的问题，也就是说在一定失真度D条件下，尽可能用最少的码符号来传送信源消息，使信源消息尽快地传送出去，以提高通信的有效性。 （4）信息率失真函数的物理意义：对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩的最小值为R(D)。 * 限失真信源编码定理(香农第三定理) 信源编码器的目的： 使编码后所需的信息传输率R尽量小,给出一个失真的限制值D，在满足保真度准则条件下，选择一种编码方法，使信息率R尽可能小 * 例1： * 阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。 * 例2：设信源具有100个以等概率出现的符号a1， a2，…， a99，a100，并以每秒发出一个符号的速率从信源输出。试求在允许失真度D＝0.1条