信息论第十五讲.pptVIP

第七章 限失真信源编码 7.1 失真测度 7.2 信息率失真函数 7.3 限失真信源编码定理 第七章 限失真信源编码 7.1 失真测度 7.1 失真测度 7.1 失真测度 7.1 失真测度 7.1 失真测度 7.1 失真测度 7.1 失真测度 7.1 失真测度 7.1 失真测度 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.2 信息率失真函数 7.3 限失真信源编码定理 定理：设R(D)是离散无记忆信源的信息率失真函数并且失 真函数为有限值．对于任意的允许失真度D≥0，当信源序 列长度N足够长时，一定存在一种编码，其编码后的实际传输信息率RR(D),而平均失真度 ，不存在信息传输率RR(D),而平均失真度 的任何信源编码。 定理的意义： 它证明了通过信源编码实现保真准则下的通信是可行的。 它指出了实现限失真编码的条件，即信息压缩的下限值是R′≥R(D)。从而为实际编码工作指明了一个目标，避免了无谓的努力。 从R(D) 随D的增大而减小的曲线可知，允许较大的失真，就可以减小信息传输率；反之亦然。 香农三个定理的区别与联系： (1)三个定理各有自己管辖的范围，各指出信息率的一个理论极限： 第一定理负责无失真信源编码； 给出无失真信源编码信息率的极限R ≤log r，这里r是编码使用的符号集的符号个数。 第二定理负责信道编码； 指出无差错信道编码传信率的极限R≤C，这里C是信道容量。 第三定理负责限失真信源编码； 指出满足指定保真度下限失真信源编码传信率的极限R′≥R(D)，R (D)是信源的率失真函数。 (2)香农三个定理的联系与区别 第一定理是第三定理D=0的特例。 第一定理要求增大信息率， 第二定理和第三定理却要求减小信息率。 虽然第二定理与第三定理都是减少信息率，但二者 目的不同（一个是纠错，另一个是压缩） 手段不同(一个是添加冗余，另一个是削减次要的信息) 要求也不同（一个是R′C ，另一个是R′≥R(D) ， C只取决于信道，而R(D)不仅取决于信源，还与预先指定的保真度D有关）。 香农三个定理相互联系，可以集中表现在同一张率失真函数曲线图上： 第七章 总结 第七章 总结 第七章 总结 第七章 总结 第七章 总结 7.3 限失真信源编码定理 沿纵轴压缩码长增大信息率 第一定理 沿某垂直线添加冗余减小信息率 第二定理 沿指定失真度削减信息减小信息率 第三定理 可保真区 可纠错区 logM R C H∞ 0 D1 D2 D 7.3 限失真信源编码定理 7.1 失真测度 1.失真函数 失真矩阵 序列的失真度 失真函数 2.平均失真 7.1 失真测度 7.2 信息率失真函数 1. D失真许可信道 2. 信息率失真函数的定义 信息率失真函数 3.信息率失真函数R(D)的性质 7.2 信息率失真函数 1）R(D)的定义域 上限值 下限值 一般情况下， 2）R(D)是关于D的下凸函数 3）R(D)在定义域内是严格递减函数 3.信息率失真函数R(D)的性质 7.2 信息率失真函数 第七章 限失真信源编码 授课老师：王敏 办公地点：3519 电子邮件: minmin8382@ 电 话 信源有损压缩的实际意义 在许多情况下，比如连续信源，数字通信不可能实现对消息 的完全无失真传输。 实际问题中，即使存在少量失真，往往并不会明显影响通信 质量。 既然允许一定的失真存在，就可以人为地削减一些信息，信 息率便可大大降低，对于提高通信效率与节约成本都有利。 然而，有损压缩不能无限制地进行，过大的压缩必然造成较 大的失真，将严重影响通信质量。 在容许失真且限定失真的条件下压缩信源代码长度的编码， 叫做限失真信源编码。 对于每一对 ，指定一个非负的函数 1.失真函数 设离散无记忆信源 经过信道传输后接收端的离散变量Y的概率空间 称 为单个符号的失真度或失真函数，用它来表示信源发出一个符号 ，而在接收端再现为 所引起的误差或失真的大小。 1.失真函数 通常较小的d值代表较小的失真，而 表示