信息论1PPT.pptVIP

第一章：信息论概述;§1.1 信息的一般概念; C.E.Shannon： 美国科学家， 信息论创始人 中文译名： 山农，香农，仙农，商农; 信息科学和材料、能源科学一起被称为当代文明的“三大支柱”。 ; 花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉； ;那么信息究竟是什么呢？ ; 信息就是情报 ; 1928年， 美国数学家哈 特 莱 (Hartley)在《贝尔系统电话杂志》上发表了一篇题为《信息传输》的论文。他认为“信息是选择的自由度”。 ; 美国数学家、控制论的 主要奠基人维纳(Wiener）在1950年出版的《控制论与社会》; 最高的层次的定义是最普遍的层次，也是无约束条件的层次，定义事物的“信息是该事物运动的状态和状态改变的方式”。我们把它叫做“本体论”层次。在这个层次上定义的信息是最广义的信息，使用范围也最广。; 例如，引入一个最有实际意义的约束条件：认识主体。信息定义就转化为“认识论”层次的信息定义。即：信息是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式（包括状态及其变化方式的形式、含义和效用）。其中认识主体所感知的东西是外部世界向认识主体输入的信息，而认识主体所表述的东西则是其向外部世界输出的信息。 ;全 信 息; 综合起来，信息有以下主要特征：; 信息与能量息息相关，但又与能量有本质的区别。 ; 根据上述特征和信息的基本定义，可以导出信息的一些重要性质： ; 信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的资源，全面掌握信息的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。;§1.1 信息的一般概念; 按照信息的性质 ;客观;真实;宇宙;语声;连续; 按照性质的不同可以把信息划分成语法信息、语义信息和语用信息三个基本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上研究得最多的类型。 ;; 语法信息考虑的是事物运动状态和变化方式的外在形式 。;§1.1 信息的一般概念; ??息论自诞生到现在不过50多年，在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。 ; 在人类历史的长河中，信息传输和传播手段经历了五次重大变革：;1924年，奈奎斯特（Harry Nyquist） (1889-1976)解释了信号带宽和信息速率之间的关系。; 20世纪30年代，新的调制方式，如调频、调相、单边带调制、脉冲编码调制和增量调制的出现，使人们对信息能量、带宽和干扰的关系有了进一步的认识。 ; 1936年，阿姆斯特朗（Edwin·Armstrong)指出增大带宽可以使抗 干扰能力加 强，并根据 这一思想提出了宽频移的频率调制方法。 ; 1939年，达得利（Homer Dudley）发明了带通声码器，指出通信所需带宽至少同待传送消息的带宽应该一样。声码器是最早的语音数据压缩系统。这一时期还诞生了无线电广播和电视广播。 ;阐明通信系统传递的对象；; 以上这些成果1948年以“通信的数学理论”（A mathematical theory of communication）为题公开发表，标志着信息论的正式诞生。; 1959年，香农发表了“保真度准则下的离散信源编码定理”（Coding theorems for a discrete source with a fidelity criterion）系统地提出了信息率失真理论（rate-distortion theory）。为信源压缩编码的研究奠定了理论基础。 ; 60 年代，信道编码技术有了较大发展，使它成为信息论的又一重要分支。 ; 后来，随着通信规模的不断扩大，人们逐渐意识到信息安全是通信系统正常运行的必要条件。于是，把密码学也归类为信息论的分支。如今信息安全已是网络通信和电子商务系统中不可缺少的重要环节。 ; 人们对信息的认识越来越深入，先后提出了加权熵、动态熵等概念，建立在模糊数学基