PPT信息论与编码-第1章绪论范例.ppt

第一次课 课程概述 信息论与编码以概率论与随机过程为主要数学工具，用一系列具体的符号(码)来表示抽象的信息，研究信息在存储和传递过程中具有高效性和可靠性这两大核心问题。本课程包括信息论基础和编码两大部分。 学习方法 学习时把注意力集中到概念的理解上，不过分追求数学细节的推导。 注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 第一章 绪论 1.1 信息的概念、性质及度量 1.2 信息论研究的对象、目的和内容 1.3 信息论的形成与发展 1.1.1 信息的重要性 人类的生存与发展离不开信息 结绳记事,契(qì)刻记事：最初期 烽火告警、狼烟、擂鼓传信、飞鸽传书 最早、快速、远距离 语言和文字：最根本的工具 造纸术和印刷术使文字成为信息传递有效工具 邮政通信 电报、电话和电视 快速、便利、远距离 网络、手机 什么是信息？消息？ 1.1.2 信息的定义（一） 不同学科,从不同角度对信息这个概念有不同解释 新闻界,信息被普遍认为是对事物运动状态的陈述,是物与物、物与人、人与人之间的特征传输.而新闻则是信息的一种,是具有新闻价值的信息，如东航“返航事件”. 哲学家从产生信息的客体来定义,认为信息是事物本质、特征、运动规律的反映.不同事物有不同本质、特征、运动规律,人们就是通过事物发出的信息来认识该事物,或区别于其它事物. 图书馆学和情报学领域,信息定义为事物或记录.美国学者巴克兰德(Buckland)认为, 许多事物都可以是信息, 如文本、图片、录音磁带、博物馆陈列品、自然物体、实验、事件等。但这一定义过于宽泛,未能将信息、信息载体和信息资源区分开来. 1.1.2 信息的定义（二） 控制论专家维纳(Wiener,右图)的信息概念是从信息传递过程中,客体和接收主体之间相互作用定义的.他说,”信息既不是物质,又不是能量,信息就是信息.” 根据维纳的说法,信息和物质、能量既有联系又有区别 物质世界三大基础：世界由物质组成,能量是物质运动的动力,信息是人类了解自然及人类社会的凭据; 独立性：信息不遵循质量守恒定律,其性质和内容与物质载体的变换无关;信息也不服从能量守恒定律,信息可以共享而能量不能共享. 依存关系：能量和信息源于物质;信息要以物质为基础,也离不开能量;物质运动的状态和方式需要信息来表现和描述,能量的转换与驾驭也同样离不开信息. 1.1.2 信息的定义（三） 1988年,钟义信在《信息科学原理》中认为,信息是事物运动的状态与方式，是物质的一种属性。 “事物”泛指一切可能的研究对象,包括外部世界的物质客体,也包括主观世界的精神现象; “运动”泛指一切意义上的变化,包括机械运动、化学运动、思维运动和社会运动; “运动方式”是指事物运动在时间上所呈现的过程和规律; “运动状态”则是事物运动在空间上所展示的形状与态势. 1.1.2 香农信息的定义 克劳德·艾尔伍德·香农是美国数学家、信息论的创始人。密西根大学学士，麻省理工学院博士。 香农在1948年发表了一篇著名的论文，《通信的数学理论》。他从研究通信系统传输的实质出发，对信息做了科学的定义，并进行了定性和定量的分析。 1.1.2 香农信息的定义 香农将各种通信系统概括成如下框图： 1.1.2 香农信息的定义 消息传递过程的特点：收信者在收到消息以前是不知道消息的具体内容的。 1) 收信者存在着“不知”、“不确定”或“疑问”； 收到消息以前，收信者在是不知道消息的具体内容。 即使收到消息，由于干扰的存在，收信者也不能判定所得到的消息是否正确和可靠。 2) 通过消息的传递，收信者知道了消息的具体内容，消除或部分消除了原先的“不知”、“不确定”和“疑问”。 1.1.2 香农信息的定义 1.1.2 香农信息的定义 因此，对收信者来说，消息的传递过程是 从不知到知的过程； 或是从知之甚少到知之甚多的过程； 或是从不确定到部分确定或全部确定的过程。 如果不具备这样一个特点，那就根本不需要通信系统了。 1.1.2 香农信息的定义 所以，通信过程是一种消除不确定性的过程。 不确定性的消除，就获得了一部分信息。 不确定性消除得越多，获得的信息就越多。 不确定性全部消除了，就获得了全部的信息； 若消除了部分不确定性，就获得了部分信息； 若不确定性没有任何消除，就没有获得任何信息。 由此可见，信息是事物运动状态或存在方式的不确定性的描述。这就是香农信息的定义。 1.1.3 信息与消息的关系 1、消息：表达客观物质运动和主观思维活动的状态, 如文字、语言、图像等. 2、信息与消息的关系： 形式上传输消息，实质上传输信息。 消息具体，信息抽象。 消息是表达信息的工具，信息载荷在消息中，同一信息可用不同形式的消息