离散信源的信息率失真函数.ppt

§4.2.2离散信源信息率失真函数的迭代计算方法 1.迭代计算条件 2.迭代计算公式 3.迭代计算步骤 * * §4.2离散信源的信息率失真函数 回顾上节所学信息率失真函数R(D) 条件：1.已知信源概率分布函数 2.已知失真函数 3.满足保真度准则 结论： §4.2.1离散信源信息率失真函数的参量表示计算方法 1.计算条件 2.计算方法 3.计算 4.计算信息率失真函数 5.参量S的物理意义 1.计算条件 （1）已知信源的概率分布 （2）失真函数为 平均互信息表达式 （3）计算约束条件 2.计算方法 应用拉格朗日乘子法，引入乘子S和 ，可将求条件极值问题化为无条件极值问题。即求解 三个偏导的结果 将三个偏导结果代入得 为了方便，令 3.计算 利用关系 此式是关于的有s个 方程的方程组，解之可得到S为参量的s个 的值 4.计算信息率失真函数 平均失真度 以下是以S为参量的信息率失真函数的表达式 5.参量S的物理意义 根据上式的结论，R(S)是D(S),S和 的隐函数，因此利用全微分公式计算导数如下 将式子 对S 求导 将上式乘 ，并对j求和 最后得 R(D)及S与D的关系曲线 1.当 ， 2.当 ，参量S达到最大值 ，由于S取值为负， 3.当 ※在 处，参量S将从一个很小的负值跳跃到零，S在这一点不连续，而在 内，S是失真度D的连续函数。 例1.r元对称信源，输入符号集为 信源符号等概分布 , ,输出符号集为 ，失真函数为 ， ，求信息率失真函数 解:(1)R(D)的定义域 (2)计算 依题意，失真矩阵为 列方程组 解得 (3)计算 解得 (4)求D(S) 从上式可以解得参量S (5)求R(D) 1.迭代计算条件 设离散信源输入序列为 输出序列为 失真函数 信息率失真函数R(D)是平均互信息I(U;V)的极小值 满足的约束条件 计算双重极小化 2.迭代计算公式 (1)计算 为使I(U;V)达到极小值的试验信道，计算 时，假设 固定不变，与 无关。 引入参量S和 ，作辅助函数 这样，就将条件极值化为无条件极值。设F1对 的偏导为零：