CHAP1信息论与编码技术课件 绪论.pdf

第一章 绪论 第一章 绪论 通信技术 通信技术 相结合逐步发展而形 概率论 相结合逐步发展而形 概率论 信息论 信息论 成的一门新兴科学 随机过程 成的一门新兴科学 随机过程 数理统计 数理统计 奠基人：美国数学家香农（C.E.Shannon ） 1948年“通信的数学理论” 本章内容： 信息的概念 数字通信系统模型 信息论与编码理论研究的主要内容及意义 1.1 信息的概念 1.1 信息的概念 信息是信息论中最基本、最重要的概念，既抽象又复杂 信息是信息论中最基本、最重要的概念，既抽象又复杂 信息在日常生活中被认为是“消息”、“知识”、“情报”等 信息在日常生活中被认为是“消息”、“知识”、“情报”等  “信息”不同于消息 （在现代信息论形成之前，信息一  “信息”不同于消息 （在现代信息论形成之前，信息一 直被看作是通信中消息的同义词，没有严格的数学含 直被看作是通信中消息的同义词，没有严格的数学含 义），消息是表现形式，信息是实质； 义），消息是表现形式，信息是实质；  “信息”不同于情报，情报的含义比“信息”窄的多，  “信息”不同于情报，情报的含义比“信息”窄的多， 一般只限于特殊的领域，是一类特殊的信息； 一般只限于特殊的领域，是一类特殊的信息； 信息不同于信号，信号是承载消息的物理量； 信息不同于信号，信号是承载消息的物理量； 信息不同于知识，知识是人们根据某种目的,从自然界收 信息不同于知识，知识是人们根据某种目的,从自然界收 集得来的数据中整理、概括、提取得到的有价值的信息， 集得来的数据中整理、概括、提取得到的有价值的信息， 是一种高层次的信息。 是一种高层次的信息。 消息：用文字等能够被人们感觉器官所感知的形式， 消息：用文字等能够被人们感觉器官所感知的形式， 把客观物质运动和主观思维活动的状态表达出来。 把客观物质运动和主观思维活动的状态表达出来。 知识：一种具有普遍和概括性质的高层次的信息，以 知识：一种具有普遍和概括性质的高层次的信息，以 实践为基础，通过抽象思维，对客观事物规律性的概 实践为基础，通过抽象思维，对客观事物规律性的概 括。 括。 情报：是人们对于某个特定对象所见、所闻、所理解 情报：是人们对于某个特定对象所见、所闻、所理解 而产生的知识 。 而产生的知识 它们之间有着密切联系但不等同，信息的含义更深刻、广泛 它们之间有着密切联系但不等同，信息的含义更深刻、广泛 就狭义而言，在通信中对信息的表达分为三个层次：信号、 就狭义而言，在通信中对信息的表达分为三个层次：信号、 消息、信息。 消息、信息。 • 信号：是信息的物理表达层，是三个层次中最具体的层 • 信号：是信息的物理表达层，是三个层次中最具体的层 次。它是一个物理量，是一个载荷信息的实体，可测量、可 次。它是一个物理量，是一个载荷信息的实体，可测量、可 描述、可显示。 描述、可显示。 • 消息：(或称为符号)是信息的数学表达层，它虽不是一个 • 消息：(或称为符号)是信息的数学表达层，它虽不是一个 物理量，但是可以定量地加以描述，它是具体物理信号的进 物理量，但是可以定量地加以描述，它是具体物理信号的进 一步数学抽象，可将具体物理信号抽象为两大类型： 一步数学抽象，可将具体物理信号抽象为两大类型： 离散(数字)消息，一组未知量，可用随机序列来描述： 离散(数字)消息，一组未知量，可用随机序列来描述： X=(X …X …X ) X=(X …X …X ) 1 i n 1