编码理论简介..pptVIP

第*页 * Department of Electronics and Information, NCUT Song Peng 第一章 绪论 1.3 Shannon信息论的中心问题 Shannon信息论的基本任务：为设计有效、可靠的通信系统提供理论依据。 通信的基本目的：在接收端精确地或以给定的失真度重现信源的输出。 第*页 * Department of Electronics and Information, NCUT Song Peng 第一章 绪论 1.3 Shannon信息论的中心问题 信源编码问题 信源编码器作用：根据失真度准则对信源的输出进行划分，给每一类以不同的表示，即码字。 信源译码器的作用：根据收到的信源表示恢复出信源所属的类。 失真度与码长的关系：精确度要求越高（失真度要求越低）对信源的划分就要越细，因而表示信源所需的信息量或码长就越大。 信息论关心的信源编码问题：在给定信源和失真度条件下，要多大信息速率才行？或对给定信源保留一定的信息速率下，可以达到的最小失真是多少？如何实现这一理论结果（即找出实际可行的信源编码和译码方法）？ 第*页 * Department of Electronics and Information, NCUT Song Peng 第一章 绪论 1.3 Shannon信息论的中心问题 信道编码问题 研究在保证信息传输可靠性（如错误概率小于给定值）的条件下最有效地利用信道的传信能力；寻找实际可行的编、译码方法。 若RC，则可以将速率为R的信息以任意高的可靠性传送至接收端；若RC，则不可能。 第*页 * Department of Electronics and Information, NCUT Song Peng 第一章 绪论 1.3 Shannon信息论的中心问题 编码理论的产生 信息论在研究信源和信道编码定理时所用的方法都是随机编码的方法，是非构造性的，不能提供具体的编、译码方法。 纠错编码理论：Hamming（1950）编码理论—在20世纪50年代末～60年代大发展。 信源编码理论： 信息率失真理论（Shannon（1959）和Berger（1971）） 数据压缩技术（Davisson Gray（1976）以及Gilbert（1991）） 第*页 * Department of Electronics and Information, NCUT Song Peng 第一章 绪论 1.3 Shannon信息论的中心问题 Shannon信息论的特点 通信系统设计的中心问题 将概率统计的观点和方法引入到通信 理论研究中； 揭示了通信系统中传送的对象是信息， 并对信息给出科学的定量的描述。 在随机噪声干扰下如何有效而可靠地 传送信息； 实现这一目标的途径是编码（信源编 码和信道编码）。 第*页 * Department of Electronics and Information, NCUT Song Peng 第一章 绪论 1.3 Shannon信息论的中心问题 信息论研究的内容 信息论基础：也称狭义信息论/经典信息论/香农信息论。主要研究信息测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理，信源编码，信道编码。 第*页 * Department of Electronics and Information, NCUT Song Peng 第一章 绪论 1.3 Shannon信息论的中心问题 信息论研究的内容 一般信息论：主要研究信息传输和处理问题。除香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论。后一部分内容以维纳为代表。 第*页 * Department of Electronics and Information, NCUT Song Peng 第一章 绪论 1.3 Shannon信息论的中心问题 信息论研究的内容 广义信息论：是一门综合性的新型学科——信息科学。至今没有严格的定义。凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。 第*页 * Department of Electronics and Information, NCUT Song Peng 第一章 绪论 1.4 Shannon信息论的局限性 Shannon信息论的局限性：Shannon通信系统的模型 Shannon的模型是很理想的抽象，高度概括了实际中各类通信系统 的本质。 远远不能面面俱到地刻画人类的实际通信问题。 Shannon信息论的功绩 Shannon信息论指出了实现有效而可靠通信的必