信息与通信信息论与编码民大绪论.pptx

2024/7/91/39学时：36参考教材：①《信息论与编码》,沈连丰,科学出版社②《信息论—基础理论与应用》,傅祖芸,电子工业出版社③《纠错码—原理与方法》,王新梅,西安电子科技大学出版④《信息论与编码》,陈运,电子工业出版社⑤“”DigitalModulationandCoding”,S.Wilson,PrenticeHall（“数字调制与编码”影印版，电子工业出版社）⑥“ElementsofInformationTheory”,ThomasM.Cover,JoyA.Thomas.清华大学出版社影印版

2024/7/92/39课程概况目的：了解学习信息论与编码理论的作用与意义，对信息论与编码理论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础特点：以概念和物理意义为主，数学推导尽量放到课外作业：编写相关内容的程序或阅读近两年内的国外期刊一两篇，结合自己的理解，写一份读书报告，内容可自选。考试：

2024/7/93/39课程基本内容一.信息论信息论的发展以及通信系统的模型离散信源熵，互信息以及冗余度二.信源编码定长编码，变长编码以及最佳编码离散信源的信息率失真函数R(D)限失真信源编码定理以及常用信源编码方法三.信道编码信道模型和容量线性分组码卷积码网格编码调制与级联码Turbo码及其迭代译码原理

2024/7/941.信息论研究的中心问题和发展历史

2024/7/95/39信息论？信息论是通信的数学基础，它以概率论、随机过程、数理统计和代数学为主要数学工具，详细研究了通信中的各个关键环节，以定理的形式给出了信源编码、信道编码的理论极限，为各种具体的通信技术提供了理论上的指导。信息论创立的标志:香农于1948年发表的论文：AMathematicalTheoryofCommunication（通信的数学理论）1948年以前，Nyquist、Hartley、Wiener做了许多有影响的工作。1948年，香农发表《通信的数学理论》，标志着信息论的诞生，同年发表《保密通信的信息理论》，用信息论的观点对信息保密问题作了全面的论述。1956年，香农发表《噪声信道的零差错容量》。1959年，香农发表《保真度准则下的离散信源编码定理》，提出信息率失真理论，为信源压缩编码奠定了理论基础。1961年，香农发表《双路通信系统》，开拓了多用户信息理论（网络信息论）的研究。

2024/7/96/39信息论的研究范畴基础信息论（shannon经典信息论）研究信息测度，信道容量以及信源和信道编码理论一般信息论（工程信息论）以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，以工程上技术问题为主。研究内容除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论广义信息论除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学

2024/7/97/39研究Shannon信息论的主要目的设计有效，可靠和安全的通信系统有效性是用尽可能短的时间和尽可能少的设备来传输一定信息量的消息信源编码（数据压缩）：无失真信源编码和限失真信源编码可靠性是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端信道编码（可靠传输）安全性加密编码

2024/7/98/39shannon信息论研究的主要问题1）什么是信息？如何度量信息？（信息熵）2）怎样确定信源输出信息的速率？（信息传输速率）3）对于一个信道，它传输信息的最高速率是多少？（信道容量）4）无失真信源编码，所需要的最少码符号数是多少？（香农第一定理：如果编码后信源序列的信息传输速率不小于信源熵，那么一定存在一种无失真信源编码方法；否则，不存在这种无失真信源编码方）5）在有噪声信道中，有没有可能以接近信道容量的速率传输信息，而收端的错误概率几乎为零？（香农第二定理：如果信息传输速率小于信道容量，那么总可以找到一种编码方式，使得当编码序列足够长时传输差错任意小；否则，不存在使差错任意小的信道编码方式）6）如果信源编码时，允许一定的失真，那么信源编码所需要的最少码符号数又是多少？（香农第三定理：对于任意的失真度，只要码字足够长，那么总可以找到一种编码方法，使编码后每个信源符号的信息传输速率，而译码的平均失真度）

2024/7/99/39香农和维纳理论的区别香农理论：香农研究的对象是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点是放在编码。他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地传送和准确或近似地再现消息。为此发展了信息测