本_信息论与编码A_第5章有失真信源编码.ppt

* 第5章 有失真信源编码 信息论与编码 Information and Coding Theory * 第5章 有失真信源编码 5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理 * 5.1 信息率失真函数 编码器输入X：xi?{a1, a2,…,an}. 编码器输出Y：yj?{b1, b2,…,bm}. 无失真: xi=yj 有失真: xi≠yj 失真函数d(xi,yj) * 5.1 信息率失真函数 失真矩阵 * 5.1 信息率失真函数 例5.1.1. 设信源符号X?{0,1}, 编码器输出符号Y?{0,1,2}, 规定失真函数为 d(0,0 )= d(1,1)=0 d(0,1 )= d(1,0)=1 d(0,2 )= d(1,2)=0.5 　则失真矩阵为 * 5.1 信息率失真函数 均方失真： 绝对失真： 相对失真： 误码失真（适用于离散信源）： 适用于连续信源 * 5.1 信息率失真函数 平均失真： 平均失真 是对给定信源分布p(xi) 经过某一转移概率分布为p(yj |xi) 的有失真信源编码器后产生失真的总体量度。 * 5.1 信息率失真函数 序列编码的失真 输入：X=(X1, X2,…,XL)，样值为: x=(x1, x2,…, xL) 输出：Y=(Y1, Y2,…,YL)，样值为: y=(y1, y2,…, yL) 失真函数定义为： 序列编码的平均失真： * 5.1 信息率失真函数 有失真信源编码器模型 信源编码目的 寻找一种编码方案，使编码后所需的信息传输率R尽量小。 问题 R越小，引起的平均失真就越大。 解决方法 给出一个失真限制值D,在满足平均失真小于D的条件下，寻找一种编码案使得信息率R最小. * 5.1 信息率失真函数 　　　　信源编码器 ? 有干扰的假想信道 　　　 信息传输率R ? I(X;Y) 有失真信源编码器模型 信源编码器 X Y 假想信道 xi?{a1,?,an} yj?{b1,?,bm} * 5.1 信息率失真函数 若p(ai)和d(ai,bj)已定，则平均失真由信道转移概率{p(bj|ai)}完全确定，所有满足平均失真小于等于门限D的信道集合 * 5.1 信息率失真函数 信息率失真函数 信息率失真函数R(D)的物理意义： 对于给定信源，在平均失真不超过失真限度D的情况下，信息率允许压缩的最小值为R(D) 。 离散无记忆信源的信息率失真函数 * 5.1 信息率失真函数 例. 设信源符号集为A={a1, a2,…, a2n}, 概率分布为: p(ai)=1/2n (i=1,2,…,2n) ，失真函数为: 信源熵H(X)=log(2n) bit/符号. 如果对信源进行无失真编码，平均每个符号至少需要log(2n) 个二进制码元. 现讨论有失真编码. 假设失真度为D=1/2. 编码方案为: a1?a1, a2? a2, …,an ? an, an+1 ? an, …,a2n ? an 对应一个确定信道. ? H(Y|X)=0, I(X; Y)=H(Y)?H(Y|X)=H(Y). 信道输出Y的概率分布为: p(a1)= p(a2)=…= p(an-1)=1/2n, p(an)=(1+n)/2n ? I(X; Y)=H(Y) = log(2n)? [(1+n)/2n]log(1+n). * 5.1 信息率失真函数 例. 信源传输的信息率由log(2n)压缩到 H(Y)=log(2n)? [(1+n)/2n]log(1+n). 平均失真: （收到100个符号时，允许出错的符号个数?50） * 第5章 有失真信源编码 5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理 * 5.2 信息率失真函数的性质 单调性 0 Dmax D R(D) * 5.2 信息率失真函数的性质 R(D)的定义域: [Dmin, Dmax] 0? Dmin；R(Dmin)=H(X). * 5.2 信息率失真函数的性质 Dmax: * 5.2 信息率失真函数的性质 R(D)的值域 0≤