信息论与编码民大绪论.ppt

信息论与编码 学 时：36 参考教材： ① 《信息论与编码》,沈连丰,科学出版社 ② 《信息论—基础理论与应用》,傅祖芸,电子工业出版社 ③ 《纠错码—原理与方法》,王新梅,西安电子科技大学出版 ④ 《信息论与编码》,陈 运,电子工业出版社 ⑤ “”Digital Modulation and Coding”, S. Wilson, Prentice Hall（“数字调制与编码”影印版，电子工业出版社） ⑥ “Elements of Information Theory” ,Thomas M. Cover, Joy A. Thomas. 清华大学出版社影印版 课程概况 目的：了解学习信息论与编码理论的作用与意义，对信息论与编码理论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础 特点：以概念和物理意义为主，数学推导尽量放到课外 作业：编写相关内容的程序或阅读近两年内的国外期刊一两篇，结合自己的理解，写一份读书报告，内容可自选。 考试： 课程基本内容 一. 信息论 信息论的发展以及通信系统的模型 离散信源熵，互信息以及冗余度 二. 信源编码 定长编码，变长编码以及最佳编码 离散信源的信息率失真函数R(D) 限失真信源编码定理以及常用信源编码方法 三. 信道编码 信道模型和容量 线性分组码 卷积码 网格编码调制与级联码 Turbo码及其迭代译码原理 1. 信息论研究的中心问题和发展历史 信息论？ 信息论是通信的数学基础，它以概率论、随机过程、数理统计和代数学为主要数学工具，详细研究了通信中的各个关键环节，以定理的形式给出了信源编码、信道编码的理论极限，为各种具体的通信技术提供了理论上的指导。 信息论创立的标志:香农于1948年发表的论文： A Mathematical Theory of Communication （通信的数学理论） 信息论的研究范畴 基础信息论（ shannon经典信息论） 研究信息测度，信道容量以及信源和信道编码理论 一般信息论（工程信息论） 以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，以工程上技术问题为主。研究内容除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学 研究Shannon信息论的主要目的 设计有效，可靠和安全的通信系统 有效性是用尽可能短的时间和尽可能少的设备来传输一定信息量的消息 信源编码（数据压缩）：无失真信源编码和限失真信源编码 可靠性是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端 信道编码（可靠传输） 安全性 加密编码 shannon信息论研究的主要问题 1）什么是信息？如何度量信息？（信息熵） 2）怎样确定信源输出信息的速率？（信息传输速率） 3）对于一个信道，它传输信息的最高速率是多少？（信道容量） 4）无失真信源编码，所需要的最少码符号数是多少？（香农第一定理：如果编码后信源序列的信息传输速率不小于信源熵，那么一定存在一种无失真信源编码方法；否则，不存在这种无失真信源编码方） 5）在有噪声信道中，有没有可能以接近信道容量的速率传输信息，而收端的错误概率几乎为零？（香农第二定理：如果信息传输速率小于信道容量，那么总可以找到一种编码方式，使得当编码序列足够长时传输差错任意小；否则，不存在使差错任意小的信道编码方式） 6）如果信源编码时，允许一定的失真，那么信源编码所需要的最少码符号数又是多少？（香农第三定理：对于任意的失真度 ，只要码字足够长，那么总可以找到一种编码方法，使编码后每个信源符号的信息传输速率 ，而译码的平均失真度 ） 香农和维纳理论的区别 香农理论：香农研究的对象是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点是放在编码。他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地传送和准确或近似地再现消息。为此发展了信息测度理论、信道容量理论和编码理论。 维纳理论：维纳研究的重点是在接收端。研究一个信号如果在传输过程中被某些因素（如噪声、非线性失真等）所干扰时，在接收端怎样把它恢复、再现，从干扰中提取出来。在此基础上，创立了最佳线性过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论。 信息论几个方面的主要进展 信源编码与数据压缩理论的进展[Kieffer 1993] 无扰信源编码的诞生(1948, C. E. Shannon)。 Huffman算法的发现(1952, D. A. Huffman)。 建立Shannon-McMillan定理(19