第 章 信息率失真函数ppt.pptVIP

* 第 4 章 信息率失真函数 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的 R ( D ) 计算 实际信息处理过程中允许一定的失真存在 不可能也不必要完全表示信源信息 允许压缩信源输出的信息率 研究内容：信息率 允许失真 本章主要讨论在信源允许一定失真情况下所 需的最少信息率，从分析失真函数、平均失真 出发，求出信息率失真函数 R ( D ) 。 2 4.1 平均失真和信息率失真函数 在实际问题中，信号有一定的失真是可以 容忍的。但是当失真大于某一限度后，信息质 量将被严重损伤，甚至丧失其实用价值。要规 定失真限度，必须先有一个定量的失真测度。 3 4.1.1 失真函数 信源 X ，输出样值为 经过有失真 的信源编码器，输出 Y ，样值为 没有失真 x i = y j 产生失真 x i ≠ y j 失真函数 衡量用 yj 代替 x i 所引起的失真程度 d ( xi , yj) 一般失真函数定义为 : 失真矩阵 单个符号的失真度的全体构成的矩阵 [ d (xi ,yj)] 例： 设信源符号X∈{0,1}, 编码器输出符号Y∈ {0,1,2} ， 规定失真函数为 d (0,0) = d (1,1) = 0 失真矩阵 d (0,1) = d (1,0) = 1 d (0,2) = d (1,2) = 0.5 5 常用的失真函数 失真函数形式可以根据需要任意选取 适于连 均方失真 适于连 续信源 绝对失真 相对失真 误码失真 适于离散 信源 汉明失真 失真矩阵 如二元对称信源， X ={0,1} ， Y ={0,1} 例： 信源 X ={0,1,2} ，接收变量 Y ={0,1,2} ，失真度定 “ 均方失真 ” 失真矩阵 7 失真函数的定义可以推广到序列编码情况 离散信源输出符号序列 ，其 中 L 长符号序列样值 ，经信源编 码后，输出符号序列 ，其中 L 长符 号序列样值 ，则 失真函数定义为： 其中d(xil , yjl)是信源输出 xi中的第 l 个符号xil时，编码 输出 yj中的第 l 个符号 yjl的失真函数。 8 4.1.2 平均失真 将失真函数的数学期望称为平均失真 平均失真是对给定信源分布 p (ai) 经过某一种转移 概率分布为 p ( bj|ai ) 的有失真信源编码器后产生失 真的总体量度。 9 失真函数与平均失真 单个符号的失真度d(xi , yj)描述了某个信源符号通 过传输后失真的大小。对于不同的信源符号和不 同的接收符号，其值是不同的。 平均失真 D 已对信源和信道进行了统计平均，该 值是描述某个信源在某一试验信道传输下的失真 大小，是从总体上描述整个系统的失真情况。 10 对于连续随机变量同样可以定义平均失真： 连续随机变量 连续随机变量的 联合概率密度 的失真函数 对于 L 长序列编码情况，平均失真为： 第l个符号 的平均失真 保真度准则 4.1.3 信息率失真函数 R ( D ) 信源编码 在一定失真限制下，对信源输出的信号进行变 换，包括连续信号的离散化 ( 即将模拟信号通过采样 和量化变成数字信号 ) ，以及对数据进行压缩，提高 数字信号传输的有效性而进行的编码。 12 无论是无噪信道还是有噪信道： 信息传输率 R 信道容量 C 总能找到一种编码，使在信道上能以任意小的 错误概率，以任意接近 C 的传输率来传送信息。 信息传输率 R 信道容量 C 就必须对信源压缩，使其压缩后信息传输率小 于信道容量 C ，但同时要保证压缩所引入的失真不 超过预先规定的限度。 13 信源编码器目的：使编码后所需的信息传输率 R 尽量小 R 越小 引起的平均失真就越大 条件： 选择一种编码方法使信息率 R 尽可能小 D ≤ D 信息率 R 就是所需输出的有关信源 X 的信息量 对应到信道 接收端 Y 需要获得的有关 X 的信息量， 即互信息 I ( X ; Y ) 。 选择信源编码方法的问题就变成了选择假想信道的 问题，符号转移概率 p ( yj|xi ) 就对应信道转移概率。 14 当信源p(xi)给定，单个符号失真度d(xi,yj) 给定 时，选择不同的信