智能检测技术-第三章 信息论概述-2.pdf

北京化工大学 智能检测技术智能检测技术 第三章信息论概述 信息科学与技术学院何泉 使用教材使用教材 • 《《现代检测技术现代检测技术》》 • 张宏建张宏建孙志孙志强等编著等编著 • 化学工业出版社化学工业出版社 1.1.概述概述 通信技术通信技术 概率论概率论概率论概率论 相结合逐步发展而形 信息论信息论 随机过程随机过程随机过程随机过程 成的成的一门新兴科学门新兴科学 数理统计数理统计 奠基人：美国数学家香农 （C.E.Shannon） 年 “通信的数学理论通信的数学理论” 信息的概念信息的概念 信息是信息论中最基本信息是信息论中最基本、、最重要的概念最重要的概念，，既抽象既抽象 又复杂 信息在日常生活中被认为是信息在日常生活中被认为是 “消息消息”、“知识知识” 、“情报”等 ““信息”不同于消息信息”不同于消息 （在现代信息论形成之前，信息一直被看作是通（在现代信息论形成之前，信息一直被看作是通 信中消息的同义词，没有严格的数学信中消息的同义词，没有严格的数学含义），消息是表现形式，信息含义），消息是表现形式，信息 是实质是实质是实质是实质；；；；  “信息”不同于情报“信息”不同于情报，，情报的含义比“信息”窄的多，一般只限于情报的含义比“信息”窄的多，一般只限于 特殊的领域，是一类特殊的信息；特殊的领域，是一类特殊的信息； 信息不同于信号信息不同于信号信息不同于信号信息不同于信号，，信号是承载消息的物理量信号是承载消息的物理量信号是承载消息的物理量信号是承载消息的物理量；； 信息不同于知识信息不同于知识，，知识是人们根据某种目的知识是人们根据某种目的,,从自然界收集得来的数从自然界收集得来的数 据中整理据中整理据中整理据中整理、、、、概括概括概括概括、、、、提取得到的有价值的信息提取得到的有价值的信息提取得到的有价值的信息提取得到的有价值的信息，，，，是是是是一一种高层次的信息种高层次的信息种高层次的信息种高层次的信息。。 消息消息消息消息：：：：用文字等能够被人们感觉器官所感知的形式用文字等能够被人们感觉器官所感知的形式用文字等能够被人们感觉器官所感知的形式用文字等能够被人们感觉器官所感知的形式，， 把客观物质运动和主观思维活动的状态表达出来。把客观物质运动和主观思维活动的状态表达出来。 知识：知识：一种具有普遍和概括性质的高层次的信息一种具有普遍和概括性质的高层次的信息，， 以实践为基础以实践为基础以实践为基础以实践为基础，，，，通过抽象思维通过抽象思维通过抽象思维通过抽象思维，，，，对客观事物规律性的对客观事物规律性的对客观事物规律性的对客观事物规律性的 概括。概括。 情报情报情报情报：：是人们对于某个特定对象所见是人们对于某个特定对象所见是人们对于某个特定对象所见是人们对于某个特定对象所见、、所闻所闻所闻所闻、、所理解所理解所理解所理解 而产生的知识而产生的知识 。 它们之间有着密切联系但不等同它们之间有着密切联系但不等同它们之间有着密切联系但不等同它们之间有着密切联系但不等同 ，，，，信息的含义更深刻信息的含义更深刻信息的含义更深刻信息的含义更深刻、、、、广泛广泛广泛广泛 什么是信息什么是信息 – 关于信息的科学定义关于信息的科学定义，到目前为止到目前为止，国内外已有不下国内外已有不下 百余种流行的说法，它们都是从不同的侧面和不同的 层次来揭示信息的本质的。 – 1928年，哈特莱(R．V ．L Hartley) 在在 《《信息传输信息传输》》一文中提出文中提出：发信者所发出的信息发信者所发出的信息， 就是他在通信符号表中选择符号的具体方式 – 局限性局限性： 定义不涉及到信息的价值和具体内容，只考虑选择的 方式方式。