测量信息论基础课件.ppt

测量信息论;信息论源于通信工程，背景是关于通讯中的： ;广义通信系统，即信息流通系统;广义通信系统模型;信息的定量描述——信源模型与信息熵。;信源的输出是随机的。信源的输出常用随机变量或随机矢量来描述，从随机变量出发研究信息，是shannon信息理论的基本假设。 由概率论可知，随机变量可取值于某一离散集合，也可取值于某一连续区间，相应的信源称为离散信源及连续信源。 ;离散信源模型;信源状态的出现是不相容的。 ;用超声波检测物体内部有无裂纹;X1 代表物体内部有裂纹 X2 代表物体内部无裂纹 ;自信息; 信源中某一状态发生的先验概率很小，但一旦发生，所获得的信息量就多。 例如：一台新机器，具有正常工作和发生事故两种可能状态。 正常工作概率为P（x1）=0.99， 发生故障概率为P（x2）=0.01。 一旦发生故障，则是一件引人注目的事件。;I（xi）与P（xi）有以下关系：;I（xi）与P（xi）关系用下图表示：;I（xi）代表两种含义：;熵---新的世界观;热力学定律;热力学定律;熵（Entropy）;熵的特性;熵的特性;热寂学说与大爆炸--地球的起源与毁灭;熵与时间;熵与生命;信息熵发展历程;信息熵发展历程;信息熵发展历程;信息熵的计算 ;熵的单位是[bit/事件]。不同信源，其统计特性不同，熵也不同。 ;信息熵分别为： ;信息熵的特性（性质）：;⒋ 可加性 统计独立信号源X和Y的联合信号源的熵等于它们各自的熵之和。;甸型酸导揩桌谅浅揽炉甘渴王聊久村证苫售阉闪椿鸿仁胰怠紊沏棵挽虹寓测量信息论基础课件测量信息论基础课件;肮科探碾谩尿姜俘箕您公仔瞒咏樱肤扩弧看陶岳溺糟炯风墓更萧获针赖犹测量信息论基础课件测量信息论基础课件;连续信源及最大熵定理;连续信源的熵为：;最大熵定理;概率密度 ;平均功率受限条件下信源的最大熵 ;M是x的均值，σ2是x的方差。该连续信源的熵;N维： ;信息与熵的守恒定律;式中： I —— 对系统观测后所获得的信息； Hmax —— 系统的原始熵； H —— 观测以后系统仍具有不确定性所具有的熵。 ;测量信息论原理;关于测量误差的分析与处理，在前面我们是以概率论为基础进行的。然而，信息的概念比概率更为基本，信息方法比传统数理统计方法的应用更为广泛。尤其在误差概率估计、数据处理和参数估计等分析中，测量信息论具有更强的能力。;用测量信息论来处理测量误差，主要研究以下问题：测量信息系统的模型；测量信息的量度；最大信息熵原理及其误差概率估计；利用误差熵来计算测量不确定度等。;测试系统的基本模型;信息测量的过程;条件熵;条件熵表示两个随机变量之间的统计依赖关系，即H（A/X）表示已知X时，A的不确定性；H（X/A）表示已知A时，X的不确定性。;测量信息量;如果没有测量误差，测量值就等于被测值，即P（a1/x1）=1，也就是H（A/X）=0，所以，测量信息量就为： 即表示测量可以获得被测量值的全部信息。 然而，实际上任何精确的测量都会产生测量误差，因此，P（a1/x1）不等于1，即H（A/X）不等于0，所以，H（A/X）表示了由于测量误差而引起的信息损失，故H（A/X）又称为损失熵。;误差熵;测量信息量的计算;例如，一台数字电压表电压测量误差△Xa/ Xa为1%，可以算出每个测量值的信息量为log101=6.64比特。因此，存储一个测量值需7比特存储器。; 用误差熵计算???确定度