第7章信息论.pdfVIP

第七章保真度准则下的信源编码 第一节 失真度和平均失真度 第二节信息率失真函数及其性质 第三节二元信源和离散对称信源的R(D)函数 第四节保真度准则下的信源编码定理 第五节联合有失真信源信道编码定理 第六节有失真信源编码定理的实用意义 第一节失真度和平均失真度 在实际生活中，人们不一定要求完全无失真的恢复消 息，也就是允许有一定的失真。 那么在允许一定程度失真的条件下，能够把信源信息压 缩到什么程度，也就是，允许一定程度失真的条件下，如何 能快速的传输信息，这就是本章所要讨论的问题。 本章所讨论的内容是量化、数模转换、频带压缩和数据 压缩的理论基础。 第一节失真度和平均失真度 1、失真度 信源 信源 信道 信道 信道 信源 信宿 编码 编码 译码 译码 干扰 根据信道编码定理，我们可以把信道编码、信道和信道解 码等价成是一个没有任何干扰的广义信道，这样收信者收到 消息后，所产生的失真只是由信源编码带来的。我们也可以 把信源编码和信源译码等价成一个信道。 第一节失真度和平均失真度 信源 试验信道 信宿 我们称此信道为试验信道。 现在我们要研究在给定允许失真的条件下，是否可以设计一种信 源编码使信息传输率为最低。为此，我们首先讨论失真的测度。 设信源变量为U {u , u ,...u }，其概率分布为P (u ) [P (u )...P (u )] 1 2 r 1 r 接受端变量为V {v , v ,...v }， 1 2 s 对于每一对(u,v)，我们指定一个非负的函数 d (u , v ) 0 i j 称为单个符号的失真度 （或称失真函数） 第一节失真度和平均失真度 u 失真函数用来表征信源发出一个符号 ，而在接收端再 i v j 现成符号 所引起的误差或失真。d越小表示失真越小， 等于0表示没有失真。 可以将所有的失真函数排列成矩阵的形式： d (u , v ) d (u , v ) ... d (u , v ) 1 1 1 2 1 s   d (u , v ) d (u , v ) ... d (u , v ) D  2 1 2 2 2 s   ...    d (u , v ) d (u , v ) ... d (u , v )  r 1