[工学]信息论与编码第1章.pdf

第一章 绪 论 2010/12/192010/12/19 22 本章基本内容 1.1 信息的基本概念 1.2 信息论研究的对象、目的和内容 1.3 信息论的起源、形成和发展 1.4 目前信息论的主要研究成果及其在 IT中的应用 2010/12/192010/12/19 33 1.1 信息的基本概念 2010/12/192010/12/19 44 什么是信息?  信息是信息论中最基本、最重要的概念，既抽象又复杂  信息在日常生活中被认为是“消息”、“知识”、“情报” 等  “信息”不同于消息 在现代信息论形成之前，信息一直被看作是通信中消息的 同义词，没有严格的数学含义。用文字、符号、数据、图 像等能够被人们感觉器官所感知的形式，把客观物质运动 和主观思维活动的状态表达出来。消息是表现形式，信息 是实质；  “信息”不同于情报 是人们对于某个特定对象所见、所闻、所理解而产生的知 识 。情报的含义比“信息”窄的多，一般只限于特殊的领 域，是一类特殊的信息；不是信息的全体。 2010/12/192010/12/19 55 什么是信息?  “信息”不同于知识 知识是人们根据某种目的,从自然界收集得来的数据中整理、 概括、提取得到的有价值的信息，是一种高层次的信息。以实 践为基础，通过抽象思维，对客观事物规律性的概括。  “信息”不同于信号 信号是承载消息的物理体现；为了在信道上传输信息，就必 须把消息加载（调制）到具有某种物理特性的信号上去。信号 是信息的载荷子或载体，是物理性的，如电信号、光信号、声 信号、生物信号等 2010/12/192010/12/19 66 就狭义而言，在通信中对信息的表达分为三个层次： 信号、消息、信息 信号：  信息的物理表达层，是三个层次中最具体的层次。它是一个物理量， 是一个载荷信息的实体，可测量、可描述、可显示。抽象信息在物理 层表达的外延；  消息：  或称为符号，是信息的数学表达层，它虽不是一个物理量，但是可以 定量地加以描述，它是具体物理信号的进一步数学抽象，是抽象信息 在数学层表达的外延。可将具体物理信号抽象为两大类型：  离散(数字)消息，可用随机序列来描述  连续(模拟)消息，可用随机过程来描述 信息：  可认为是由具体的物理信号、数学描述的消息的内涵，是更高层次哲 学上的抽象 ，是信号与消息的更高表达层次。  同一信息，可采用不同的信号形式(比如文字、语言、图象等)来载荷； 同一信息，也可采用不同的数学表达形式(比如离散或连续)来定量描述。  同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无 与有、断与通、低与高(电平)等等。 2010/12/192010/12/19 77 什么是信息  关于信息的科学定义，到目前为止，国内外已有不下百 余种流行的说法，它们都是从不同的侧面和 不同的层次 来揭示信息的本质的。  1928年，哈特莱(R ．V ．L Hartley) 在《信息传输》一文中提出：发信者所发出的信息， 就是他在通信符号表中选择符号的具体方式，并主