第一章信息论基础案例.ppt

信息论与编码;课程介绍;课程介绍(续);课程内容;[参考书];;第1章 信息论基础 ; 花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉； ;色彩; 1928年， 美国数学家哈 特 莱 (Hartley)在《贝尔系统电话杂志》上发表了一篇题为《信息传输》的论文。他认为“信息是选择的自由度”。 ; 事隔20年，另一位 美国数学家香农(C.E. Shannon) 在《贝尔 系统电话杂志》发表 了题为《通信的数学 理论》的长篇论文。他创立了信息论，但是却没有给出信息的确切定义他认为 “信息就是一种消息”。; 美国数学家、控制论的 主要奠基人维纳(Wiener）1950年出版的《控制论与社会》。; 消息：信息的外壳，信息这是消息的内核，同样多的消息，所包含的信息量可能差异很大；反之，不同形式的消息可能包含同样多的信息。 信号：不等同于信息，信号只是信息的载体，信息是信号所载荷的内容。 数据：是记录信息的一种形式，且不是唯一的形式。 情报：在日常的确是信息，只是一类专门的信息，是信息的一个子集。; 信息定义: 最高的层次的定义是最普遍的层次，也是无约束条件的层次，定义事物的“信息是该事物运动的状态和状态改变的方式”。我们把它叫做“本体论”层次。在这个层次上定义的信息是最广义的信息，使用范围也最广。; 引入一个最有实际意义的约束条件：认识主体。信息定义就转化为“认识论”层次的信息定义。即：信息是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。其中认识主体所感知的东西是外部世界向认识主体输入的信息，而认识主体所表述的东西则是其向外部世界输出的信息。 ; 认识论比本体论的层次要低，因为认识主体具有感觉能力、理解能力和目的性，所以从认识论层次上研究信息“事物的运动状态及其变化方式”就不再像本体论层次上那样简单，他必须考虑到形式、含义和效用。;全 信 息; ;1.1 信息的概念;信息存在于自然界，也存在于人类社会，其本质是运动和变化。可以说哪里有事物的运动和变化，哪里就会产生信息。 ; 信息的主要特征：; 信息与能量息息相关，但又与能量有本质的区别。 ; 根据上述特征和信息的基本定义，可以导出信息的一些重要性质： ; 信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的资源。;1.1信息的概念;1.1信息的概念;对于信息论的研究，一般划分为三个不同的范畴：;1.1信息的概念;; 主要是研究信息传输和处理问题。除了香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容以美国科学家维纳（N·Wiener）为代表。;一般信息论; 虽然维纳和香农等人都是运用概率和统计数学的方法研究准确或近似再现消息的问题，都是通信系统的最优化问题。但他们之间有一个重要的区别。 ; 维纳研究的重点是在接收端。研究消息在传输过程中受到干扰时，在接收端如何把消息从干扰中提取出来，并建立了最佳过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论等。 ; 香农研究的对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码。为此，发展了信息测度理论、信道容量理论和编码理论等等。 ; ???照信息的性质 ;客观;真实;宇宙;;连续; 在众多的分类原则和方法中，最重要的就是按照信息性质的分类。 ; 语法信息考虑的是事物运动状态和变化方式的外在形式 。;; 信息传输和传播手段经历了五次重大变革：;1.3 信息传输系统 ;这个模型包括以下五个部分：;通信系统模型方框图:; 信息度量的方法有：结构度量、统计度量、语义度量、语用度量、模糊度量等等。最常用的方法是统计度量。它用事件统计发生概率的对数描述事物的不确定性，得到消息的信息量，建立熵的概念。熵概念是香农信息论最基本最重要的概念。 ;;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;本 章 小 结