工程测试与 及信号分析ch3-信息论基础知识x.ppt

* * MEASUREMENT INFORMATION SIGNAL ANALYSIS IN MECHANICAL ENGINEERING 机械工程测试?信息?信号分析 机械科学与工程学院 机械电子信息工程系 李锡文 xiwenli@ 轩建平 jpxuan@ 第三章 信息论基础知识 主要内容 一、信息的定义和作用、信息科学与技术 二、信息论与广义通信系统 三、信息的定量描述-信源模型与信息熵 四、连续信源与最大熵定理 五、信息与熵的守恒定律 课件资料下载： 邮箱地址：jxgccs@163.com “机械工程测试”每个字拼音的第一个字母 密码：111111 注意下载时不要删除原始文件 3-1 信息与信息技术 一、信息的定义 1. 泛说 地质工作者说: 信息就是资源 企业家说: 信息就是资本 管理工作者说: 信息就是办法 军事指挥家说: 信息就是胜利 . . . 现代汉语辞典：用符号传递的报道，报道的内容是接收符号者预先不知道的 。 日本广辞菀辞典：信息是对某种事物的预报。 信息定义 英语 information in 接收消息， formation 整理成章。 控制论创始人 N.Wiener ：人和外界互相作用过程中互相交换的内容的名称。 信息论奠基人 C.E.Shannon：熵的减少 2. 定义 事物运动的状态和方式 事物 物质 运动 广义的运动 状态 稳定 方式 变化 信息论的基本问题：信源 信宿 信道 编码 例：无线电通信系统；声发射监测系统；刀具磨损监测系统 二、广义通信系统 广义通信系统 编码器 译码器 无线电通信系统 广义通信系统 声发射监测系统 刀具磨损监测系统 3-3 信息的定量描述 一、信源：信息输出是随机的，常用随机变量或随机矢量或概率空间描述。离散和连续信源。 二、离散信源模型 离散型概率空间 例1：掷硬币 例2：超声波探伤 3-3 信息的定量描述 3-3 自信息 三 、自信息 自信息指信源某一事件xi发生时所包含的信息量，是随机变量； 某事件发生所含有的信息量是该事件发生的先验概率的函数，即 f=-Log a 测度单位：a=2为底，比特；e为底，奈特；10为底，哈特 I(xi)与P(xi)的关系 I(xi)与是先验概率P(xi)的单调递减函数； P(xi) =1时， I(xi)=0，必然事件信息量为0； P(xi) =1时， I(xi)=0，不可能发生的事件发生了，其信息量无穷大； 两个独立事件的联合信息量，应等于它们各自信息量之和。 四、信息熵：自信息的数学期望，即信源的平均信息量 物理意义：表征了信源整体的统计特性，是总体的平均不确定性的量度；或表征了变量的随机性。 例： 信息熵 信息熵越大，随机性也越大 * * * *