信息论与编码第六章.pptVIP

第六章 保真度准则下的信源编码 §7.1 引 言 无失真信源编码定理（无噪离散信道编码定理）实际上是讨论信息传输有效性的界的问题，证明了必有一种编码方法，使每一个信源符号所需要的平均码长符号数，在数量上无限接近于该信源的熵值，用这样的码可几乎无差错地译出原来的信源符号，反之，每一信源符号所含有的平均码符号数小于信源的熵值，则不可能无差错地译出原信源符号。 有噪离散信道的编码定理，讨论的是信息传输的可靠性问题，证明了必有一种编码方法，只要信道的信息传输率小于信道容量，在信道的输出端可几乎无差错地译出信道输入端输入的消息，反之， 时，不可能无差错译码。 概括两个定理：只要 ，总能找到一种编码，使在信道上能以任意小的错误概率，以任意接近C的传输率来传送信息。但若信息传输率R大于信道C，不可能实现无失真的传输，使传输错误 任意小。  实际上，完全无失真地传输信源消息是不可能实现的。 另一方面，实际生活中，人们一般并不要求，也没有必要全无失真地恢复消息。 ? 如何在一定程度失真的条件下，快速而且较准确地传送信源的消息。? §7.2 信息率失真函数的定义和性质 信息传输率R与失真有关，为了定量地描述信息传输率和失真的关系，引入失真度（函数）的概念。 是信源统计特性 ，信道统计特性 以及人们规定的失真函数 的函数，当失真函数被选定，信源和信道的统计特性给定后， 就是一个确定的量，更为重要的是，当 给定后， 就只是信道的统计特性：传递概率 的函数。 ，变动信道的传递概率 ，就可变动平均失真度 “人们允许的失真”往往是规定其平均失真度 不能超过某一限定的值D，规定 ，因此我们可以把本身能控制选择的允许平均失真D作为对信道统计特性 的一种约束条件，求信道信息率 的最小值，使以前讨论的极小值问题具有实用意义。 实质：用最小的信道信息率传输信息（最小代价）但能满足给定的允许失真度 ；换句话说：满足允许失真度前提下，使信道传输的信息最小。 信道N次无记忆扩展后： 当信源和信道无记忆时： 如平均失真度 （所允许的失真）称为保真度准则，则对长为N的信源序列的保真度准则为： * *