工程测试技术课件本科生和研究生用课件 ch3-信息论基础知识x.ppt

信号处理原理 第三章 信息论基础知识 主要内容 一、信息的定义和作用、信息科学与技术 二、信息论与广义通信系统 三、信息的定量描述-信源模型与信息熵 四、连续信源与最大熵定理 五、信息与熵的守恒定律 3-1 信息与信息技术 一、信息的定义 1. 泛说 地质工作者说: 信息就是资源 企业家说: 信息就是资本 管理工作者说: 信息就是办法 军事指挥家说: 信息就是胜利 . . . 现代汉语辞典：用符号传递的报道，报道的内容是接收符号者预先不知道的 。 日本广辞菀辞典：信息是对某种事物的预报。 信息定义 英语 information in 接收消息， formation 整理成章。 控制论创始人 N.Wiener ：人和外界互相作用过程中互相交换的内容的名称。 信息论奠基人 C.E.Shannon：熵的减少 2. 定义 事物运动的状态和方式 事物 物质 运动 广义的运动 状态 稳定 方式 变化 信息科学与信息技术 信息、数据、知识三者的区别 信息 What When Where Who 数据 How much How many Which Yes / No 知识 How Why 二、信息的基本性质 识别 转换 存储 传输 三、信息科学：研究信息现象及其规律的科学 信息本身的规律 认识信息 利用信息的规律 利用信息 四、信息技术 扩展人的信息功能的技术 传感技术 （collection）人的感官的扩展 通信技术 （communication）人的神经系统的扩展 计算机技术 （computer）人的大脑功能的扩展 3-2 信息论与广义通信系统 一、信息论的基本概念 信息论源于通信工程，发展基于以下问题： 信息传输的效率，信息传输的准确性，噪声干扰，信道频率特性； 狭义信息：研究信息的测度、信道容量以及信源和信道编码理论； 一般信息论：研究通信问题，包括噪声理论、信号滤波与预测，信号调制与处理； 广义信息论：含其他学科中有关信息的问题 广义通信系统 3-3 信息的定量描述 3-3 自信息 三 、自信息 自信息指信源某一事件xi发生时所包含的信息量，是随机变量； 某事件发生所含有的信息量是该事件发生的先验概率的函数，即 f=-Log a 测度单位：a=2为底，比特；e为底，奈特；10为底，哈特 I(xi)与P(xi)的关系 I(xi)与是先验概率P(xi)的单调递减函数； P(xi) =1时， I(xi)=0，必然事件信息量为0； P(xi) =1时， I(xi)=0，不可能发生的事件发生了，其信息量无穷大； 两个独立事件的联合信息量，应等于它们各自信息量之和。 信息熵 四、信息熵：自信息的数学期望，即信源的平均信息量 物理意义：表征了信源整体的统计特性，是总体的平均不确定性的量度；或表征了变量的随机性。 例： 信息熵基本性质 五、信息熵的基本性质 P68 对称性：概率空间顺序任意互换时，熵函数的值不变 确定性：信源的输出若有一种必然事件，其熵为0 非负性：H(X)=0 可加性：统计独立信源X和Y的联合信源的熵等于各自熵的和，熵函数的形式是唯一的 极值性：信源各个状态为等概率分布时，熵值最大 最大离散熵定理 六、信息熵与热力学熵 热力学熵不减 信息学熵不增 3-4 连续信源及最大熵定理 一、连续信源 连续信源：信源的输出状态数是不可数的无限值，且任一时刻，取值也是连续的，可用连续随机变量描述。如机床工作状态监测系统。 连续型的概率空间 连续信源的熵 3-5 信息与熵的守恒定律 二、最大熵定理：约束条件不同，最大相对熵不同 峰值功率受限条件下信源的最大熵：输出信号的概率密度是均匀分布 平均功率受限条件下信源的最大熵：信号输出幅度的概率密度分布是高斯分布时。 三、联合信源的熵 3-5 信息与熵的守恒定律 3-5 信息与熵的守恒定律 信号处理原理 信号处理原理 * 信号处理原理 信号处理原理 * MEASUREMENT INFORMATION SIGNAL ANALYSIS IN MECHANICAL ENGINEERING 机械工程测试?信息?信号分析 机械科学与工程学院 机械电子信息工程系 李锡文 xiwenli@ 轩建平 jpxuan@ 课件资料下载： 邮箱地址：jxgccs@163.