第1章 节 概论 信息论 .pptVIP

信息论导论;教师;课程信息;参考教材;课程性质和任务 ;第一章 概论;第1章 概论;;1、信息的普遍性;世界上的一切物质运动和物质运动过程都产生信息和信息运动。从无机界到有机界，从宏观的宇 宙天体到微观的基本粒子，从单细胞生物到结构复杂的人体，从自然界到人类社会，种种物质形态 都是信息源，都在产生和发出信息。;对信息的解释？;2、信息的本原性;3、信息的定义;迄今为止，应用最广泛的是通信系统研究背景下，1948年香农给出的信息定义。*;信道——传输信号的媒介，信道中通常引入噪声 编码——从消息到信号的变换和处理 译码——从含噪声信号到消息的反变换和处理;消息;定义;4、信息的性质;相对性 时效性;2、按信息的作用;1、信息论的形成;1831年 法拉第电磁感应;杯具式人物;1832年，莫尔斯电报系统;;;最早的有线电话;无线通信的发展;麦克斯韦（James Clerk Maxwell）;电磁波有没有用？;马可尼——无线电之父;;对理论的要求;理论的探索;;;香农的开拓型工作;三、信息论的诞生;香农的开拓型工作;;;;;香农信息论;香农创新性总结;香农其人其事;成就香农的性格特质;20世纪40年代末，汉明提出分组编码技术，形成代数编码理论。 1952年，费诺提出费诺编码方法 同年，霍夫曼提出霍夫曼编码方法， 1959年，香农发表了论文 “保真度准则下的离散信源编码定理” 信息率失真理论逐步形成。 1960年前后，提出卷积码和维特比译码 1961年，香农发表了论文 “双路通信信道” ，多用户信息理论逐步形成。 1963年，埃利斯提出算术编码方法 1982年，G.Ungerboeck提出网格编码调制 1993年提出的Turbo码在性能上已非常接近理论极限 ;四、信息论的研究内容;关于信息论的研究内容，一般有三种理解;2、一般信息论;3、广义信息论;无论是香农信息论还是一般信息论，都只讨论不涉及主观因素的语法信息。;香农信息论是完美的？;不同的声音;香农曾这样说：“近几年来，信息论简直成了最时髦的学科．……它已名过其实．许多不同学科的同事们，或因慕其名，或希望寻求科学分析的新途径，都把新兴理论引入各自的领域．总之，现在信息论已经名声在外．这种声誉固然使我们本学科的人感到愉快和兴奋，但也孕育着一种危险……信息论决不是通信工作的万灵药方，而对其他人则更是如此．要知道，一次就能打开全部自然奥秘的事情，是十分罕见的．否则，人们一旦知道仅仅用几个像信息、熵、多余度这样一些动人字眼并不能解决全部问题的时候，就会大失所望．那种人为的繁荣就会在一夜之间突然崩溃．”;复习