信息论及编码 第4章 信息率失真函数.pptVIP

检验完全正确： 3 检验不十分可靠： 4 比最大损失减少了： 信息率R的价值 价值率 C R(D) 的上凸函数 的下凸函数 的极大值 的条件极小值 的函数 的函数 仅与信道特性有关 仅与信源特性有关 解决可靠性问题 解决有效性问题 信息传输的基础 信源压缩的基础 §4.4 保真度准则下的信源编码定理 RR(D) ? RR(D) H(X)、C、R(D)：临界值，衡量通信能否满足要求的重要界限。 §4.2离散信源的信息率失真函数 §4.2.1 离散信源信息率失真函数的参量表达式 §4.2.2 二元信源的率失真函数 令 令 1 2 3 2 3 1 4 5 负值(因R(D)严减下凸) 在公式 两边对S取导数 2 两边乘以 对 求和 D §4.2离散信源的信息率失真函数 §4.2.1离散信源信息率失真函数的参量表达式 §4.2.2 二元信源的率失真函数 1 S(D) D 0.5 0.25 P=0.25 P=0. 5 §4.1 信息率失真函数 §4.2 离散信源的信息率失真函数 §4.3 连续信源的信息率失真函数 §4.4 保真度准则下的信源编码定理 §4.3 连续信源的信息率失真函数 §4.3.1 连续信源失真函数的参量表达式 §4.3.2 高斯信源的率失真函数 §4.3.3 信息价值  定义 定义PD为满足保真度准则的试验信道集合 下确界 §4.3 连续信息的率失真函数 §4.3.1 连续率失真函数的参量表达式 §4.3.2 高斯信源的率失真函数 §4.3.3 信息价值  §4.3.2 高斯信源的率失真函数 (条件方差) 根据詹森不等式： Y X N 反向加性高斯实验信道 1 2 高斯信源的率失真函数 §4.3连续信息的率失真函数 §4.3.1 连续率失真函数的参量表达式 §4.3.2 高斯信源的率失真函数 §4.3.3 信息价值  §4.3.3 信息价值 合格品a1，废品a2，生产过程抽象成信源： 例 把检验过程看作信道，检验结果即为信道输出。 合格品出厂： b1：检验合格 b2：检验不合格 废品报废： 合格品报废： 废品出厂： 不经检验全部出厂： 1 不经检验全部报废： 2 第2章：信源熵 第3章：信道容量 第4章：信息率失真函数 第5章：信源编码 第6章：信道编码 第7章：密码体制的安全性测度 §4.1 信息率失真函数 §4.2 离散信源的信息率失真函数 §4.3 连续信源的信息率失真函数 §4.4 保真度准则下的信源编码定理 §4.1 信息率失真函数 §4.1.1 失真函数和平均失真度 §4.1.2 率失真函数定义 §4.1 .3 率失真函数性质 实际通信系统允许一定的失真存在。 1 打电话； 2 放电影，视觉暂留性。 允许压缩信源输出的信息率。 研究内容：信息率 允许失真 《保真度准则下的离散信源编码定理》 对任一 指定一个非负数 失真度 （函数） 4.1.1 失真函数和平均失真度 a1 b1 a2 b2 an bn 1 汉明失真 2 平方误差失真函数 由于ai和bj都是随机变量，所以失真函数d(ai，bj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为 ? 平均失真度 允许失真 保真度准则 N次扩展信道的平均失真度： 定义 由信源和信道的无记忆性 §4.1 信息率失真函数 §4.1.1失真函数和平均失真度 §4.1.2 率失真函数定义 §4.1.3 率失真函数性质 信源编码器 X Y 假想信道 将信源编码器看作信道 4.1.2 率失真函数定义 信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真 ? D的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(yj/xi)就对应信道转移概率。 为D失真许可的 试验信道 平均失真由信源分布p(ai)、假想信道的转移概率p(bj/ai)和失真函数d(ai，bj)决定，若p(ai) 和d(ai，bj)已定，则调整 p(bj/ai) 使 1、D允许试验信道 2、信息率失真函数R(D) 由于互信息取决于信源分布和信道转移概率分