第7章限失真信源编码要点.ppt

信息论与编码理论第7章 限失真信源编码 为什么允许存在失真 连续信源 其上有无穷多个点，但是传输时不可能传输无穷多个点，只能选择有限个点传输 但是用有限精确表示无限是不可能的，失真必然存在 离散信源 信源符号的个数虽然是有限的，但有时为了提高压缩效果，需要减少符号个数 例如{0.5, 1.0, 1.5, 2.0, 2.5, 3.0}压缩为{1, 2, 3}，这必然引入失真 信宿 有时信宿不要求精确恢复 消息，例如人眼、人耳等 去掉信宿感觉不到的数据 可以提高压缩比，不过 这样也就带来了失真 Lena.bmp 118K Lena.jpg 25K 7.1 失真的度量7.1.1 失真函数和失真矩阵 由于进行失真编码，因此发送的数据与接收的数据之间有差别 设离散无记忆信源（限失真 信源编码之前的数据）为 接收端接收到的数据（限失真 信源编码之后的数据）为 因此可以定义失真函数(或单个符号失真度)为： d(ui,vj)≥0, i=1,2,…,n; j=1,2,…,m 用来度量信源发出符号为ui，接收符号为vj时所引起的误差或失真 失真矩阵 信源U有n个符号，接收变量V有m个符号 d(ui,vj)就有n×m个，可以排成矩阵形式，即： 称为失真矩阵，是n×m阶矩阵 汉明失真 如果误码失真的常数值为1，则称为汉明失真 失真矩阵举例 【例】二元对称信源，信源U＝{0, 1}，接收变量V＝{0, 1}，在汉明失真定义下，失真函数为：d(0,0)＝d(1,1)＝0, d(0,1)＝d(1,0)＝1 则失真矩阵为 【例】设信源U＝{0, 1},接收变量V＝{0, 1, 2}，失真函数为d(0,0)＝d(1,1)＝0, d(0,1)＝d(1,0)＝1, d(0,2)＝d(1,2)＝0.5 则失真矩阵为 【例】信源U＝{0,1,2},接收变量V＝{0,1,2},失真函数为d(ui,vj)＝(ui－vj) 2 由失真定义得 d(0,0)＝d(1,1)＝d(2,2)＝0 d(0,1)＝d(1,0)＝d(1,2)＝d(2,1)＝1 d(0,2)＝d(2,0)＝4 则失真矩阵为 7.1.2 序列失真（N次扩展信源失真） 信源序列失真度（或失真函数）定义为： S=s1s2…sN——信源的一个输出序列 Y=y1y2…yN——信宿的一个接收序列 sl——信源输出序列中的一个符号 yl——信宿接收序列中的一个符号 例 若信源序列S=01,Y=02 则d(S,Y)=(d(0,0)+d(1,2))/2=(0+0.5)/3=0.25 又若信源序列S=11,Y=02 则d(S,Y)=(d(1,0)+d(1,2))/2=(1+0.5)/2=0.75 7.1.3 平均失真和保真度准则 信源平均失真： ui——信源输出符号，i＝1，2，…，n p(ui)——信源输出符号ui的概率 vj——信宿接收符号，j＝1,2,…，m p(vj|ui)——信道传递概率 含义：从总体上描述整个系统失真情况 例 信源U={0,1}，信宿V={0,1,2} 信道 失真矩阵 则信源平均失真为 保真度准则 保真度准则指平均失真度不大于允许失真D，即： 保真度准则体现了限失真信源编码中的“限” 7.2 信息率失真函数 信息传输率R：平均每个码元携带的信息量 试验信道BD：将编码过程看成一个信道，而且满足保真度准则 失真越大 编码后的数据能够提供的关于编码前的数据的信息量越小 需要通过试验信道传输的信息量越小 信息传输率越小 因此，我们关注信息传输率的最小值 而这个最小值又与允许的失真有关 将这个信息传输率的最小值记作R(D)，这就是信息率失真函数 即互信息越小 关于率失真函数的说明 从所有满足保真度准则的试验信道中找到一个条件概率，使平均互信息最小，其实质是 选择（设计）一种编码方式，在满足保真度准则的条件下，使信息传输率最小，即保留的信息最少/失真最大，以达到压缩比最高 当给定系统所允许的失真D之后，R(D)已经是信息传输率的最小值，不能再小了。如果再小，系统将不满足保真度准则的要求。 7.2.2 信息率失真函数定义域及性质 R(D)的定义域为 0 ≤ Dmin ≤ D ≤ Dmax Dmin是允许的平均失真的最小值 由于 而其中的p(u)和d(u,v)是已知条件，因此 所以对任意的ui，只要能够找到一个vj，使得 取最小值，则此时的平均失真就是Dmin 假设d(ui,v*)是d(ui,v1),…, d(ui,vm)中最小的那一个，则 的最小值就是d(ui,v*) 此时在p(ui,v1),…, p(ui,vm)中，只有p(