信息论与编码知识梳理与课后答案.pptVIP

信息论与编码;有关说明:;课程概述;信息科学是以信息为基本研究对象，以信息的运动规律和应用方法为主要研究内容，这是信息科学有别于一切传统科学最基本的特征。信息科学主要包括信息论和计算科学两部分，二者奠定了整个信息科技大厦的基石。 信息论源于统计理论和电信技术的发展，主要研究信息属性、信息度量、信息表示和信息传输。 20世纪40年代，香农（C.E.Shannon）提出了信息的统计定义，于1948年发表了信息论的奠基性论文《通信的数学理论》。由于香农对信息论的发展作出了巨大贡献，被认为是信息论的创始人。;计算科学是对描述和变换信息的算法过程，包括其理论、分析、设计、效率分析、实现和应用的系统的研究，是整个计算机技术、工程与应用的理论基础。从计算机角度讲，计算科学的本质就是数据变换。 计算科学与数学的关系很密切，数学是计算科学的主要基础，数学与电子科学构成了我们今天计算机系统的基础，也构成了计算科学的基础。但是，与数学相比，电子技术基础地位的重要性不及数学。;本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通信系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成;学习注意事项：;§1.1 信息的一般概念;组成客观世界的三大基本要素： 物质 能量 信息 ; 花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉； ;色彩;那么信息究竟是什么呢？ ; 信息就是情报 ; 1928年，美国数学家哈特莱 (Hartley)在《贝尔系统电话杂志》上发表了一篇题为《信息传输》的论文。他认为“信息是选择的自由度”。把信息理解为选择通信符号的方式. ;事隔20年，另一位美国数学家香农 (C. E. Shannon) 在《贝尔系统电话杂志》发表了题为《通信的数学理论》的长篇论文。他创立了信息论，但是却没有给出信息的确切定义他认为“信息就是一种消息”。; 美国数学家、控制论的 主要奠基人维纳(Wiener）在1950年出版的《控制论与社会》; 信息存在于自然界，也存在于人类社会，其本质是运动???变化。可以说哪里有事物的运动和变化，哪里就会产生信息。 ; 信息至今无确切定义，但信息有以下主要特征：; 信息与能量息息相关，但又与能量有本质的区别。 ; 根据上述特征和信息的基本定义，可以导出信息的一些重要性质： ; 信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的资源，全面掌握信息的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。;就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。如电信号、光信号等。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象。 信息：信息是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。 ;§1.2 信息的分类;全 信 息;语法信 息; 按照信息的性质 ;客观;真实;宇宙;;连续; 在众多的分类原则和方法中，最重要的就是按照信息性质的分类。 ;; 语法信息考虑的是事物运动状态和变化方式的外在形式 。;§1.3 信息论的起源、发展及研究内容; 信息论自诞生到现在不过50多年，在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。 ; 在人类历史的长河中，信息传输和传播手段经历了五次重大变革：;1924年，奈奎斯特（Harry Nyquist） (1889-1976)解释了信号带宽和信息速率之间的关系。; 20世纪30年代，新的调制方式，如调频、调相、单边带调制、脉冲编码调制和增量调制的出现，使人们对信息能量、带宽和干扰的关系有了进一步的认识。 ; 1936年，阿姆斯特朗（Edwin·Armstrong)指出增大带宽可以使抗干扰能力加 强，并根据这一思想提出了宽频移的频率调制方法。 ;1939年，达得利（Homer Dudley）发明了带通声码器，指出通信所需带宽至少同待传送消息的带宽应该一样。声码器是最早的语音数据