编码理论第二版课件作者田丽华第6-11章节第9章节.pptVIP

第9章　限失真信源编码 9.1离散信源信息率失真理论 9.1.1失真函数及保真度准则 由于只涉及信源编码问题。所以可以将信道编码和译码看成是信道的一部分。这样接收者收到消息后所产生的失真（或误差）只是由信源编码带来的。从直观感觉可知，若允许失真越大，信息传输率可越小; 若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真（或误差）是有关的。为了定量地描述信息传输率和失真的关系，可以略去广义的无扰信道，所谓广义无扰信道是指，把信道编码、信道、信道译码这三部分看成一个没有任何干扰的广义信道。这样通信系统可简化成如图9-1所示。 图9-1 简化的通信系统 1．基本离散信源失真设离散无记忆信源： 　　由于信源U有n个符号，而接收V有m个符号，所以d(ui,vj)就有n×m个，这n×m个非负的函数可以排成矩阵形式，即 　 失真函数有多种形式，应尽可能符合信宿的主观特性；也就是主观上的失真感觉应与d(ui,vj)的值相对应。越大，所感觉到的失真也越大，而且最好成正比。当ui＝vj时，d应等于零，表示没有失真，当ui≠vj时，d为正值。设x为信源输出信息，y为信宿收到信息，则常用失真函数有：　　均方失真： d(x,y)＝(x－y)2　　　绝对失真： d(x,y)＝|x－y| 　　相对失真： d(x,y)＝|x－y|/|x| 　　汉明失真： 　　均方失真和绝对失真只与(x－y)有关，而不是分别与x及y有关，在数学处理上比较方便；相对失真与主观特性比较匹配，因为主观感觉往往与客观量对数成正比，但在数学处理中就要困难得多。其实选择一个合适的失真函数，要完全与主观特性匹配已是非常困难的，更不用说还要易于数学处理。前三种失真函数适用于连续信源，最后一种失真函数适用于离散信源，汉明失真函数表示当接收符号与发出信道符号相同时，就不存在失真和错误，所以失真度为零。当接收到符号与发送符号不同时，就存在失真。而且认为只要发送符号与接收符号不同所引起的失真都相同，失真度为常数，这里常数值为1（称为汉明失真）。 　　[例9-1]二元对称信源，信源U＝{0，1}，接收变量V＝{0,1}在汉明失真定义下，失真函数为： 　　[例9-2]设信源 U＝{0,1},接收变量V＝{0,1,2}定义失真函数为：d(0,0)＝d(1,1)＝0, d(0,1)＝d(1,0)＝1, d(0,2)＝d(1,2)＝0.5则失真矩阵： 　　【例9－3】　信源U＝{0,1,2},接收变量V＝{0,1,2},均方失真函数为d(ui,vj)＝(ui－vj)2,求失真矩阵。　　解　由失真定义得失真矩阵为 式中　ui —信源输出符号，i＝1，2，…，n； p(ui)—信源符号ui对应概率； vj—信宿接收符号；j＝1,2,…，m； p(vj|ui)—广义无扰信道传递概率。　　单个符号的失真度d(ui,vj)描述了某个信源符号通过传输后失真的大小，对于不同的信源符号和不同的接收符号，其值是不同的。但平均失真度已对信源和信道进行了统计平均，所以此值是描述某一信源在某一广义无扰信道（或称为试验信道）传输下的失真大小，是从总体上描述整个系统的失真情况。 　　[例9-4]等概信源，通过信道转移概率矩阵P的信道传输，失真测度为均方失真测度，求平均失真。信道转移概率矩阵为 　　2.N次扩展信源失真　　从基本离散信源失真度出发，可以定义N次无记忆扩展信源的失真函数和平均失真度。扩展信源失真度（失真函数）： 　　式（9－4）表明，扩展信源的失真度等于序列中对应单个信源符号失真度之和，单个符号失真度为d(S,Y)/N。　　由此可得N次扩展信源平均失真度为 当信源与信道都是无记忆时，N次扩展信源平均失真度： 　　N次扩展信源的保真度准则是：平均失真度D(N)不大于允许失真ND，即 　　[例9-5]离散无记忆信源，离散无记忆信道分别为 　　解:由式（9-3）可计算得 二次扩展信道矩阵 　　由式（9-4）得二次扩展信源失真矩阵，将其除2得单个符号失真矩阵为 由式（9-5）得二次扩展信源平均失 9．1．2信息率失真函数　　在信源给定，又定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给信宿的信息传输率R尽可能地小。或者说，在满足保真度准则下，寻找信源必须传输给信宿的信息率R的下限值。从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。而接收端获得的平均信息量可用平均互信息I(U；V)来表示，这就变成了在满足保真度准则的条件下（ D ≤D ）,寻找平均互信息I(U；V)的最小值。可以在D失真许可的试验信道集合BD中寻找某一个信道p(vj | ui)，使I