第4章 节 信息率失真函数 《信息论与编码》经典PPT课件.pptVIP

* * 信息率失真函数 第4章 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算 内容 4.1 平均失真和信息率失真函数 4.1.1 失真函数 假如某一信源X,输出样值xi , xi∈{a1,a2,…an},经信道传输后变成yj , yj ∈{b1, b2,…bm},如果: xi ＝ yj 没有失真 xi ≠ yj 产生失真 失真的大小,用一个量来表示,即失真函数d(xi,yj),以衡量用yj代替xi所引起的失真程度。 失真函数定义为： 失真函数 将所有的d(xi,yj)排列起来,用矩阵表示为: 失真矩阵 例：设信源符号序列为X={0,1},接收端收到符号序列为Y= {0,1,2},规定失真函数为 d(0,0)＝d(1,1)= 0 d(0,1)＝d(1,0)= 1 d(0,2)＝d(1,2)= 0.5 失真矩阵 4.1.2 平均失真 xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量,限失真时的失真值只能用数学期望表示 将失真函数的数学期望称为平均失真： 失真函数d(xi,yj)： 描述了某个信源符号通过传输后失真的大小 平均失真 ： 描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真 L长序列编码 如果假定离散信源输出符号序列X＝{X1X2… Xl… Xn},其中L长符号序列xi =[xi1xi2…xiL],经信源编码后,输出符号序列Y={Y1Y2…Yl…Ym},其中L长符号序列yj=[yj1yj2…yjN ],则失真函数定义为 平均失真 4.1.3 信息率失真函数R(D) 无论是无噪信道还是有噪信道: R＜C 总能找到一种编码使在信道上能以任意小的错误概率,以任意接近C的传输率来传送信息 R＞C 就必须对信源压缩,使其压缩后信息传输率R’小于信道容量C,但同时要保证压缩所引入的失真不超过预先规定的限度。 信息压缩问题就是对于给定的信源,在满足平均失真 的前提下,使信息率尽可能小。 信息率失真函数R(D) 若平均失真度 不大于我们所允许的失真,即 则称此为保真度准则 当信源p(xi)给定,单个符号失真度d(xi,yj) 给定时,选择不同的试验信道p(yj|xi), 相当于不同的编码方法,其所得的平均失真度不同。 试验信道 满足 条件的所有转移概率分布pij ,构成了一个信道集合 D失真允许的试验信道： 满足保真度准则的试验信道。 PD： 所有D失真允许的试验信道组成的一个集合。 信息率失真函数R(D) R(D)： 在限定失真为D的条件下信源输出的最小信息速率。 在信源给定后,我们希望在满足一定失真的情况下,使信源必须传输给收信者的信息传输率R尽可能地小。 若从接收端来着,就是在满足保真度准则下,寻找再现信源消息所必须获得的最低平均信息量。即在满足保真度准则的条件下寻找平均互信息I(X,Y)的最小值。 信息率失真函数 PD是所有满足保真度准则的试验信道集合,因而可以在集合PD中寻找某一个信道pij,使I (X,Y)取极小值。 离散无记忆信源 例已知编码器输入的概率分布为p(x)={0.5 ,0.5} 信道矩阵 求互信息 编码器输入的概率分布为p(x)={0.5 ,0.5} 信道矩阵 求互信息 可见当p(x)一定时,I (X,Y)随p(yj|xi)而变。 因为p(x)分布一定时,信道受干扰不同所能传递的信息量是不同的。 当p(x)一定时,I (X,Y)是关于p(yj|xi)的下凸函数。 因此当改变p(yj|xi)时,I (X,Y)有一极小值。 平均互信息 平均互信息I(X;Y)： 信源的概率分布p(xi)的上凸函数。 信道传递概率p(yj|xi)的下凸函数。 信道容量： 信息率失真函数： 信道容量 信道容量： 假定信道固定的前提下,选择一种试验信源使信息传输率最大。 它所反映的是信道传输信息的能力,是信道可靠传送的最大信息传输率。 一旦找到了信道容量,它就与信源不再有关,而是信道特性的参量,随信道特性的变化而变化 不同的信道其信道容量不同。 信息率失真函数 信息率失真函数： 假定信源给定的情况下,用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。 它反映的是信源可以压缩的程度,是在满足一定失真度要求下信源可压缩的最低值。 率失真函数一旦找到,就与求极值过程中选择的试验信道不再有关,而只是信源特性的参量 不同的信源其R(D)不同。 研究信道容量： 充分利用已给信道,使传输的信息量最大,而发生错误的概率任意小