现代检测技术信息论概述.PDF

现代检测技术 第3章信息论概述 主讲：王后能 2017/3/7 武汉工程大学电气信息学院测控教研室 1 内容提要  概述  信息定量描述—信息熵  信息传输 2017/3/7 武汉工程大学电气信息学院测控教研室 2 3.1 概述  信息论源于通信工程  信息论是 信息科学的理论基础  信息论运用数理统计方法研究 信息的获取、 变换、传输和处理。  本质上把工程检测系统看作一个广义的通 信系统。 2017/3/7 武汉工程大学电气信息学院测控教研室 3 3.1 概述-应用  引入熵 Entropy，作为被观测系 统不确定性的尺度；  提出最大熵定理的最大熵谱分析方 法；  将信息传输理论用于分析检测系统 信息传输及抗干扰方法等。 2017/3/7 武汉工程大学电气信息学院测控教研室 4 信息、消息和信号  信息  一个抽象的概念，可以 定量 的描述。信息、 物质和能量 是构成一切系统的三大要素  消息  是信息的载体，相对具体的概念，如语言，文 字，数字，图像  信号  表示消息的物理量，电信号的 幅度，频率，相 位 等等 2017/3/7 武汉工程大学电气信息学院测控教研室 5 什么是信息？  关于信息的定义，众说纷纭。  哲学家说，信息就是认识论。  数学家则认为信息是概率论。  物理学家把信息定义为熵。  通信专家把信息看作是 消除不确定性。  表明信息科学尚未形成一套统一的、完整的、 得到公认的理论。 2017/3/7 武汉工程大学电气信息学院测控教研室 6 信息的定义  控制论创始人 维纳 认为，信息是人们在适应 外部世界并且将这种适应反作用于世界的过 程中，同外部世界进行交换的内容的名称， 接收信息和使用信息的过程，就是人们适应 外部偶然性的过程；  信息论的创始人 香农 说信息是用以消除不确 定性的东西；  决策学的代表人物西蒙 则指出，信息是影响 人们改变对决策方案的期待或评价的外界刺 激。 2017/3/7 武汉工程大学电气信息学院测控教研室 7 信息的定义  获取信息的过程是一个由未知到已知的过程 （哲学），或者说由不确定到确定的过程 （通信）。因此信息可以看作是消除不确 定性。  信息分析与统计的工具是概率论（数学）。  具有实际意义的平均信息量称为 熵（物 理）。 2017/3/7 武汉工程大学电气信息学院测控教研室 8 信息的性质 可以识别 可以转换 可以存储 可以传输 2017/3/7 武汉工程大学电气信息学院测控教研室 9 信息的性质  识别：信息可以通过人的感官直接识别， 也可以通过探测工具（如各种传感器）进行 识别。  转换：信息可以从一种形态转换成另一种 形态，如语言、文字、图像等信号形式可以