信息论——基础理论与应用（第5版）课件 【ch07】保真度准则下的信源编码.pdfVIP

高等学校电子信息类精品教材 第七章 保真度准则下 的信源编码 信息论——基础理论与应用 》》》 01 失真度和 平均失真度 》》 一、失真度和平均失真度 01失真度 现我们考察图7.1所示的通信系统。由于本章只涉及信源编码问题因此我们将信道编码 和译码都看成是信道的一部分。又根据信道编码定理，我们可以把信道编码信道、信道译 码这三部分看成是一个没有任何干扰的广义信道。这样收信者收到消息后所产生的失真(或 误差)只是由信源编码带来的。从直观感觉可知，若允许信源的失真越大，信息传输率可越 小；若允许信源的失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真 (或误差)是有关的。为了定量地描述信息传输率和信源失真的关系，一方面可以略去广义的 无干扰信道。另一方面我们用虚拟手法拿信道来表示失真信源编码的作用，把信源编码和 信源译码等价成一个信道，由于是失真编码所以这种信道不是一一对应的，可用信道传递 概率来描述编、译码前后的关系。 信源 信道 信道 信源 信源 编码 编码 信道 译码 译码 信宿 干扰， 广义无干扰信道 一、失真度和平均失真度 01失真度 这就使图7.1的通信系统简化成如图7.2所示。一般此信道称为试验信道。 对应于每一对(u,v)我们指定一个非负的函数 (Z1) ()≥0 (1;2,06=1,2 称为单个符号的失真度(或称失真函数)。用它来测度信源发出一个符号u,而在接收端 再现为接收符号集中一个符号v,所引起的误差或失真。通常较小的d值代表较小的失真， 而d(uy,vj)=0表示没有失真。 U V 信源 试验信道 信宿 P(yJu) 图7.2简化的通信系统 一、失真度和平均失真度 01失真度 由于信源变量U有r个符号，而接收变量V有s个符号，所以d(u,vj)就有r×s个。r×s个 非负的函数可以排列成矩阵形式，即 d(u?,v?),d(u?,v?), ,d(u?,v,) d(u?,v?),d(u?,v?),…,d(u?,v,) D= : : : (7.2) L d(u,,v?),d(u,,v?),…,d(u,,v,) 我们称它为失真矩阵D,它是r×s阶矩阵。 若失真矩阵D中每一行都是同一集合A中诸元素的不同排列，并且每一列也都是同一集 合B中诸元素的不同排列，则矩阵D具有对称性。以这种具有对称性的失真矩阵来度量失真 的信源称为失真对称信源(简称对称信源)。 一、失真度和平均失真度 02平均失真度 因为信源U和信宿V都是随机变量，故单个符号失真度d(u,vj)也是随机变量。显然， 规定了单个符号失真度d(uj