第五篇 信息率失真函数.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 解：接收符号y0的平均失真函数 为： 接收符号y1的平均失真函数 为： 因为 p 1/2 所以 满足这个失真度的试验信道为： 2.R(D)函数的下凸性和连续性 3.R(D)函数的单调递减性 物理意义： 容许的失真度越大，所要求的信息率越小。 5.4 信息率失真函数的计算 可见，求解R(D)实质上是求解互信息的条件极值，可采用拉氏乘子法求解。但是，在一般情况下只能求得用参量（ R(D)的斜率S）来描述的参量表达式，并借助计算机进行迭代运算。 由信道容量C与R(D)数学上对偶关系： 其迭代运算与求信道容量迭代运算相仿的。我们这里只介绍特殊情况下的R(D)计算。 具有等概率、对称失真信源的R(D)计算 例1：有一个二元等概率平稳无记忆信源X，信宿为Y，且失真函数为： 试求其R(D)=? 这时，由概率归一性，可进一步假设： 可见： 代入失真度公式，有 再将它代入转移概率公式中： 由： ，得： 则： 例2：若有一n元等概率、平稳无记忆信源X，且失真函数的消息传输图和失真矩阵分别为图所示： 试求R(D) 信道矩阵为： 将A代入信道矩阵中，有： 输出 概率 信息率失真函数 无失真时，即D=0 ； ； 有失真时，假设D=0.2 ① K2 K4 K8，进制n越小，压缩比K越大； ② 随着允许失真度D的增加，压缩比K随之增加，但相对关系不变 引用拉氏乘子法。约束条件为下列 (n+1)组等式： R(D)的参量表达式 求互信息 的极小值。 信息论“三大定理”总结 香农信息论的三个基本概念—信源熵、信道容量、信息率失真函数，都是临界值，是从理论上衡量通信能否满足要求的重要界限。 ??香农的三个基本编码定理—无失真信源编码定理、信道编码定理、限失真信源编码定理，这是三个理想编码的存在性定理。分别又称为香农第一、第二、第三定理。 ??虽然三个定理都指出理想编码是存在的，但如何寻找编码以及能否做到“理想编码”，则完全是另外一回事。正是信源编码或信道编码所要讨论的问题。 信息论“三大定理”总结 信息论“三大定理”总结 信息论“三大定理”总结 * * * * * * * * * * * * * 信息率失真函数R(D)定义： 在给定信源消息的概率分布{P(xi)}及平均失真函数允许值D的条件下，传输这些信源消息，并使失真程度在允许范围内时，所需要的信息率的最小值，其定义式为： R(D)又称作率失真函数 PD——满足保真度准则的试验信道的集合。 平均互信息量的凸函数性 (1) I(X;Y) 是信源概率分布P(X) 的上凸函数 （最大值）——信道容量 (2) I(X;Y) 是信道转移概率P(Y/X) 的下凸函数 （最小值）——率失真函数 回顾： 二进制对称信道 q不变时, I(X;Y)为上凸曲线。p=0.5时有最大值 p不变时, I(X;Y)为下凸曲线。q=0.5时有最小值 0 0.5 1 q H(p) I(X;Y) 1-H(q) 0 0.5 1 p I(X;Y) q q 1 0 Y X 回顾： 由于平均互信息量I(X;Y)是p(yj|xi)的下凸函数，所以 在PD集合内，极小值存在。该极小值就是在保真度 准则的条件下，信源必须传输的最小平均互信息量. 离散无记忆信源 N维信源矢量的信息率失真函数RN(D)为 X——信源的一个输出序列； Y——信宿的一个接收序列； ——N维信源矢量的平均失真度。 信息率失真函数R(D) 的等效定义 称D(R)为失真信息率函数，是R(D)的逆函数，它是求在允许最大速率情况下的最小失真D 给定速率 连续 D R(D) H(X)=R(0) 0 离散 下凸函数 由定义，R(D)函数是在限定失真为最大允许失真D时信源最小信息传输速率，它是通过改变试验信道特性来达到的。所以R(D)是表示不同D值时对应的理论上最小信息速率值。 说明： （1）在研究信息率失真函数R(D)时，引用的信道传输概率 p(yj|xi)并没有实际信道的含义，是为了求平均互信息量极