信息论与编码第4章率失真函数.ppt

* 信息率失真函数的性质 1、R(D)是非负的实数, R(D)≥0。 其定义域为0~Dmax , 其值为0~H(X)。 当D＞Dmax时,R(D)≡0 2、R(D)是关于D的下凸函数 R(D)在定义域内是失真度D的U型下凸函数 3、R(D)的单调递减性及连续性 容许的失真度越大，所要求的信息率越小。反之亦然。 * * 离散信源R(D)计算 给定信源概率pi和失真函数dij,就可以求得该信源的R(D)函数。 它是在保真度准则下求极小值的问题。 但要得到它的显式表达式,一般比较困难通常用参量表达式。 即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级逼近的方法。 * 二元对称信源的R(D)函数 设二元对称信源X={0,1},其概率分布p(x)=[p,1-p],接收变量Y={0,1},汉明失真矩阵 因而最小允许失真度Dmin=0。 并能找到满足该最小失真的试验信道,且是一个无噪无损信道,其信道矩阵为 * 计算得：R(0)=I(X;Y)=H(p) 最大允许失真度为 要达到最大允许失真度的试验信道,唯一确定为 * 这个试验信道能正确传送信源符号x=1,而传送信源符号x=0时,接收符号一定为y=1 凡发送符号x=0时,一定都错了。而x=0出现的概率为p,所以信道的平均失真度为p 。 在这种试验信道条件下，可计算得 R(Dmax) = R(p) = 0 * 信息率失真函数 第4章 * 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算 内容 * 4.1 平均失真和信息率失真函数 * 4.1.1 失真函数 假如某一信源X,输出样值xi , xi∈{a1,a2,…an},经信道传输后变成yj , yj ∈{b1, b2,…bm},如果: xi ＝ yj 没有失真 xi ≠ yj 产生失真 失真的大小,用一个量来表示,即失真函数d(xi,yj),以衡量用yj代替xi所引起的失真程度。 失真函数定义为： * 失真函数 将所有的d(xi,yj)排列起来,用矩阵表示为: 失真矩阵 例：设信源符号序列为X={0,1},接收端收到符号序列为Y= {0,1,2},规定失真函数为 d(0,0)＝d(1,1)= 0 d(0,1)＝d(1,0)= 1 d(0,2)＝d(1,2)= 0.5 失真矩阵 * 失真函数形式可以根据需要任意选取,最常用的有: 均方失真: 绝对失真: 相对失真: 误码失真: 适于连续信源 适于离散信源 失真函数 * 汉明失真矩阵 对于二元对称信源(m=n),X={0,1},Y={0,1},汉明失真矩阵: * 4.1.2 平均失真 xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量,限失真时的失真值只能用数学期望表示 将失真函数的数学期望称为平均失真： 失真函数d(xi,yj)： 描述了某个信源符号通过传输后失真的大小 平均失真 ： 描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真 * L长序列编码 如果假定离散信源输出符号序列X＝{X1X2… Xl… Xn},其中L长符号序列xi =[xi1xi2…xiL],经信源编码后,输出符号序列Y={Y1Y2…Yl…Ym},其中L长符号序列yj=[yj1yj2…yjN ],则失真函数定义为 平均失真 * 4.1.3 信息率失真函数R(D) 无论是无噪信道还是有噪信道: R＜C 总能找到一种编码使在信道上能以任意小的错误概率,以任意接近C的传输率来传送信息 R＞C 就必须对信源压缩,使其压缩后信息传输率R’小于信道容量C,但同时要保证压缩所引入的失真不超过预先规定的限度。 信息压缩问题就是对于给定的信源,在满足平均失真 的前提下,使信息率尽可能小。 * 信息率失真函数R(D) 若平均失真度 不大于我们所允许的失真,即 则称此为保真度准则 当信源p(xi)给定,单个符号失真度d(xi,yj) 给定时,选择不同的试验信道p(yj|xi), 相当于不同的编码方法,其所得的平均失真度不同。 试验信道 * 满足 条件的所有转移概率分布pij ,构成了一个信道集合 D失真允许的试验信道： 满足保真度准则的试验信道。 PD： 所有D失真允许的试验信道组成的一个集合。 * 信息率失真函数R(D) R(D)： 在限定失真为D的条件下信源输出的最小信息速率。 在信源给定后,我们希望在满足一定失真的情况下,使信源必须传输给收信者的信息传输率R尽可能地小。 若从接收