信息论基础第4章.pptVIP

（二）R(D)的参量表达式（续） ：求极值的方法 —— ⑥ 最后求得参量方程如下： 这就是用参量S[R(D)的斜率]表达的R(D)函数形式，又称为参量方程。 例：引用上述参量方程求解一个二进不等概率离散信源： 定理4-3-1： R’(D) =S ，即R(D)斜率为参量S。证明从略。 （二）R(D)的参量表达式（续） ：求极值的方法 解：首先求参量λ1与λ2 由公式③，有： 求得 将它带入式②，有 求得 定理4-3-1:例子（续） 定理4-3-1:例子（续） 再将λ1λ2 , q1q2代入⑤式D(S)中： 再将它带入R(S)，有： 定理4-3-1:例子（续） 取 ，的曲线： 由图可见： 无失真： 结论：1) 信源概率分布越不均匀，压缩比越大； 2) D越大，压缩比也越大。 定例4-3-1:例子（续） 限失真，比如D=0.1时 （三） R(D)函数的迭代算法 显然，我们可以利用求解信道容量的计算迭代公式的方法与思路求解R(D)函数。其关键步骤为： 首先让我们从信道容量C与R(D)函数定义在数学上的对偶性来分析： 寻求两个决定互信息的互为因果关系的自变量对，这里选 ，且通过Pji求极值； 2) 对互信息求条件极值（极小值），引用拉氏乘子法； 具体求解步骤如下： （三） R(D)函数的迭代算法 （续） 两个自变量中首先固定Pji值，则在满足 和 的约束条件下求I(qj; Pji)的极小值。引用拉氏乘子法，有： 即 ， 求得： ， 再由归一化条件 再代入原式得： —— ① 由归一化条件，有 （三） R(D)函数的迭代算法（续） 求出： （三） R(D)函数的迭代算法（续） 再将它带入Pji表达式，求得 ①式与②式是两个基本迭代公式 下面，为了迭代方便，可将①②改写为： （三） R(D)函数的迭代算法（续） 上述迭代至前后两值间误差小于给定值 为止。可求得 （三） R(D)函数的迭代算法（续） … … §4-4 连续信源R(D)函数 ⒈连续信源比离散信源更需要R(D)函数。因为连续信源信息量为无限大（取值无限），传送∞信息量既无必要，也不可能。所以连续信源都是属于限失真范畴； ⒉连续信源R(D)与离散信源R(D)类似： 只需将概率换为概率密度 求和换为积分 信源平均失真 而 则有： 同样，可以求出类似于离散的参量表达式： 即在下述限制条件下： 连续信源R(D)函数（续） 求互信息 的下确界。 所谓变分是指求泛函的极值。即 其求解顺序完全类似于离散情况，但需求解一个积分方程。 连续信源R(D)函数（续） 最后结果为： 连续信源能否有类似于离散信源的一些特殊情况，不需求解繁琐的积分方程呢？的确存在，在某些情况下，比如 时，求解可大大减化。即 连续信源R(D)函数（续） 可见，由上述卷积表达式，无需求解积分方程就可以求得分布密度 。 则 连续信源R(D)函数（续） 再由类似于离散信源的下列求解顺序： 例：若 连续信源R(D)函数（续） 则 即 连续信源R(D)函数（续） ∴ 而信源p(u)的特征函数为 连续信源R(D)函数（续） 连续信源R(D)函数（续） （正态） （上限） 可见，在平均功率 受限条件下，正态分布R(D)函数值最大，它是其他一切分布的上限值，也是信源压缩比中最小的。所以人们往往将它作为连续信源压缩比中最保守的估计值。 例：对连续有记忆信源R(D)函数计算相当复杂，下面考虑一个简单的特例：对一个广义平稳遍历马氏链信源，且有 连续信源R(D)函数（续） P.* 第四章 限失真信源与信息率失真函数R(D) §4-1 引言 （一） 引入限失真的必要性： 1） 失真在传输中是不可避免的; 2） 接收者（信宿）无论是人还是机器设备，都有一定的 分辨能力与灵敏度，超过分辨能力与灵敏度的信息传