2010年信息论讲义1.ppt

信息论的理解 狭义信息论（香农信息论，经典信息论） 信息的测度、信道容量、信源和信道编码理论 一般信息论（工程信息论） 研究信息传输和处理问题，除经典信息论外还包括编码理论，噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学 信息论研究的内容： 经典/ 狭义 / 香农信息 论 一般/工程 信息论 广义 信息论 主要研究信息的 测度、信道容量 以及信源和信道 编码理论等问题 所有与信息有 关的自然和社 会领域，即新 兴的信息科学 理论 主要研究信 息传输和处 理问题 信息论的发展历史 信息论是基于通信工程实践和理论研究的发展而来 1924年，Nyquist提出信息传输理论 如果以一个确定的速度来传输电报信号，就需要一定的带宽。信号传输速率与信道带宽成正比。 1928年，Hartley提出信息量关系 在s个代码中选N个码构成 个可能的消息 信息量 1932年，Morse发明电报编码； 1946年，柯切尼柯夫提出信号检测理论； 1948年，Shannon提出信息论，“通信中的数学理论 ” 1.3 信息论的形成和发展 1948年，香农在《通信的数学理论》的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。 从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找最佳通信系统提供了重要的理论依据。 1948年，香农在论文中提出并给出了简单的编码方法(香农编码)，1952年,费诺(Fano)提出了一种费诺码，同年霍夫曼(D．A．Huffman)构造了一种霍夫曼编码方法，并证明了它是最佳码。 对于确定概率分布的信源编码(无失真信源编码) 算术码：从整个序列的概率匹配来进行编码。 此概念由香农首先提出，后经许多学者改进，已进入实用阶段。 1968年前后，埃利斯(P．Elias)发展了香农―费诺码，提出了算术编码的初步思路。里斯桑内(J．Rissanen)在1976年给出和发展了算术编码，1982年他和兰登(G．G．Langdon)一起将算术编码系统化，并省去了乘法运算，使其更为简化、易于实现。 无损压缩编码技术和算法的到迅速发展和应用。 对于确定概率分布的信源编码(无失真信源编码) 在研究信源编码的同时，另外一部分科学家从事信道编码(纠错码)的研究工作。这一工作已取得了很大的进展，并已经形成一门独立的分支——纠错码理论。 1950年汉明(R．W．Hamming)发表的论文《检错码与纠错码》是开拓编码理论研究的第一篇论文。这篇论文主要考虑在大型计算机中如何纠正所出现的单个错误，是线性分组码的基本思想。 ? 信道纠错编码的发展 信道纠错编码的发展 ——关键理论进展 信道纠错编码的发展 ——关键理论进展 信道纠错编码的发展 ——关键理论进展 1959年，香农发表“保真度准则下的离散信源编码理论”，提出率失真函数和率失真信源编码理论。 1971年伯格尔发表《信息率失真理论》 率失真信源编码理论是信源编码的核心问题，是频带压缩、图像和多媒体等数据压缩的理论基础。 语音压缩编码：CCITT G.722, G.723, G.728 静态图像压缩：JPEG 动态图像压缩：MPEG-2, MPEG-4 视频：H.261, H.263 限失真信源编码理论 技术成就。 CDMA(Virerbi, Qaulecom)的技术问题：联合检测和译码、均衡、干扰抵消、速率分拆、功率检测控制等。 STC(Space time code)，源于信息论考虑。 线性网络编码 合作编码技术 多用户、网络信息论 密码编码学是信息安全技术的核心，密码编码学的主要任务是寻求产生安