[工学]第1章 信息论绪论.ppt

信息论与编码技术 第一章 绪论 重点： 通信系统的基本模型 难点： 信息的三种定义 第一章 绪论 §1.1 什么是信息? §1.2 什么是信息论？ §1.3 通信系统的模型 §1.4 信息论的起源和发展 §1.5 信息论的主要研究成果 第一章 绪论 1.1 什么是信息? 信息是信息论中最基本、最重要的概念，既抽象又复杂。 关于信息的科学定义，国内外已有不下百余种流行的说法。 1.1 什么是信息? 辞海记录，南唐诗人李中的诗《暮春怀故人》中写到： 池馆寂寥三月尽，落花重叠盖莓苔。 惜春眷恋不忍扫，感物心情无计开。 梦断美人沉信息，目穿长路倚楼台。 琅玕绣段安可得，流水浮云共不回。 信息：古时泛指音讯和消息。 1.1 什么是信息? 1928年，拉尔夫·哈特利在《信息传输》一文中提出： 发信者所发出的信息，就是他在通信符号表中选择符号的具体方式。 1.1 什么是信息? 信息虽无确切定义，但是却具有两个明显的特征： 广泛性 抽象性 1.1 什么是信息? 广泛性 客观世界充满着信息 人类离不开信息 知识、书本是有用信息的积累 1.1 什么是信息? 抽象性 信息是组成客观世界并促进社会发展的最基本的三大要素之一。 三大要素是：物质、能量与信息。 一、 广义信息的定义 广义信息 信息是物质（事物）的一种普遍属性，是事物的表征，即反映了事物运动的状态、方式及其改变。 一、 广义信息的定义 物质是基础、是实体；一切物质都有可能成为信息的载体。 能量是物质运动的形式，是改造客观世界的主要动力。 信息无处不在，它依附于物质和能量，但又不同于物质和能量。 一、 广义信息的定义 没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。 信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。 一、 广义信息的定义 注意 信息在日常生活中被认为是“消息”、 “信号”、“知识”、“情报”等。 消息：用文字等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。 一、 广义信息的定义 知识：一种具有普遍和概括性质的高层次的信息 ，以实践为基础，通过抽象思维，对客观事物规律性的概括。 情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识 。 二、狭义信息的定义 在通信中,对信息的表达分为三个层次：信号、消息、信息。 它们既有联系，又有区别！ 二、狭义信息的定义 信号 信号是信息的物理表达层，是三个层次中最具体的层次。 它是消息的物理体现。 它是一个物理量，可测量、可描述、可显示。 消息(或称为符号) 消息是信息的载体。 它不是一个物理量，但可以定量描述。 ?它是具体物理信号的进一步数学抽象。 它利用文字、符号、数据、语言、音符、图像等表达出来。 具体物理信号可抽象为两大类型： 离散(数字)消息，是一组未知量，可用随机序列来描述： X=(X1, … , Xi , … , Xn) 连续(模拟)消息，也是未知量，它可用随机过程来描述： X(t,ω) 二、狭义信息的定义 信息 信息是任何随机事件发生后所包含的内容。 它是抽象的，看不见、摸不着。 狭义信息的实例 同一信息，可以采用不同的信号形式(比如文字、语言、图像等)来载荷。 同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述。 同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如“无”与“有”、“断”与“通”、“低(电平)”与“高(电平)” 等等。 * 三个层次的小结 消息中包含信息，是信息的载体。 信号携带消息，是消息的运载工具。【最具体】 信息是信号具体载荷的内容、消息描述的含义。【最抽象】 信息的特征 信息是无形的，但可识别。 信息是可存贮、可传递、 可加工，还可共享。 信息是无限的。 信息是可以度量的。 信息的载体是可以转换的。 1.2 什么是信息论？ 一、信息论的提出 它是Claude Elwood Shannon (香农)在四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。 *关于香农 二、信息论的定义 信息论，又称为“通信的数学理论”，是应用近代数理统计方法研究信息的传输、存储、处理的科学。 三、研究内容 中心问题：主要研究信息传输、存储和处理的有效性和可靠性。 目的：为设计有效而可靠的通信系统提供理论依据。 四、概率信息的定义 信息是事物运动状态或存在方式的不确定性的描述，也称为概率信息或香农