极大似然估计法解说.ppt

极大似然的思想 1.极大似然原理 3. 递推的极大似然估计 1.预报误差模型 　设 是k-1时刻的极大似然估计值，那么　　 在 点上进行Taylor展开，并考虑到　　在　　点上 关于　的一阶导数近似为零，则有： 其中　　　　　　　是正定对称阵。　是　　Taylor 展开时的残差项。 　　由于 是参数　的非线性函数，为了得到极大似然估计的递推形式，先将　 　写成递推的形式： 记　　　　　，并将上式配成二次型 　 令 ，可以得到 增益矩阵的递推公式为： 　 如果取　　　　　　　　，得到　　 的最小值。同时类似于最小二乘法的推导，利用矩阵求逆引理，得到： * 对参数估计来说，预报误差法、极大似然法适用范围均较为广泛，它们不仅适用于线性模型也适用于非线性模型，是处理残差序列相关情况下的另一类辩识算法。 预报误差法类似于最小二乘法，它并不要求任何关于数据概率分布的统计假设为前提条件，而极大似然估计属于一种概率性的参数估计法。 随机逼近法是由统计学中，通过连续逼近以获得估计参数发展而来的。它是随机问题的梯度法应用于观测数据被噪声污染，且对此噪声的统计特性不够了解的情况。算法十分简单，具有实用价值。 第六章　极大似然法及其它辩识方法 先看一个简单例子： 某位同学与一位猎人一起外出打猎，一只野兔从前方窜过。只听一声枪响，野兔应声到下了，如果要你推测，这一发命中的子弹是谁打的？ 你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪应该是猎人射中的。这个例子所作的推断就体现了极大似然的基本思想。 　　如果样本取值x1x2…xn，则事件　　　　　 　发生的概率为　　　　 。这一概率随 的值变化而　　 　变化。从直观上来看，既然样本值x1x2…xn已经出现 了，它们出现的概率相对来说应比较大，应使其概 率取比较大的值。取似然函数如下： 　　设总体X是离散型随机变量，其概率函数为 ，其中　是未知参数。设X1X2…Xn为取自总体X的样本。X1X2…Xn的联合概率函数为　　　　　。这里，　是常量，X1X2…Xn是变量。 　　因此，求参数　的极大似然估计值的问题就是求似然函数　　最大值问题。这通过解方程 　　 来得到。因为 　和　　的增减性相同，所以它们在　的同一值处取得最大值，称　　　为对数似然函数。可以通过求解下列方程来得到极大似然解。　 　　极大似然估计法就是在参数　的可能取值范围内，选取使　　达到最大的参数值　，作为参数　　　 　的估计值。即取　，使得： 例1：设某工序生产的产品的不合格率为p，抽n个产品作检验，发现有T个不合格，试求p的极大似然估计值。 分析：设X是抽查一个产品时的不合格品的个数，则X服从参数为p的两点分布。抽查n个产品，则得样本X1,X2,…Xn，其观察值为x1,x2…xn，假如样本有T个不合格，即表示x1,x2…xn中有T个取值为1，有n-T个取值为0。基于此求参数p的极大似然估计值。 (1) 写出似然函数 (2) 对似然函数取对数，得到对数似然函数: (3) 对似然函数求导，令其为零，得到似然估计值 例2：设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从　　　，其中参数　　未知。为了估计　　，从中随机抽取n=100根轴，测得其偏差为x1,x2…x100。试求　　的极大似然估计。 分析：显然，该问题是求解含有多个(两个)未知参数的极大似然估计问题。通过建立关于未知参数　　　的似然方程组，从而进行求解。 例3：某电子管的使用寿命X(单位:小时)服从指数分布： 今取得一组样本Xk数据如下，问如何估计θ？ 1100 800 210 190 620 520 450 410 340 280 270 140 130 100 68 50 29 16 1、由总体分布导出样本的联合概率函数； 2、把样本联合概率函数中自变量看成已知常数， 而把参数　看作自变量，得到似然函数　　； 3、求似然函数的最大值点(常转化为求对数似 然函数的最大值点)； 4、在最大值点的表达式中，用样本值代入就得 参数的极大似然估计值。 极大似然估计的法的运算步骤： 作业：设总体的密度函数为： 现在得到总体的一个样本X1,X2,…,Xn，其观测值为x1,x2,…,xn，求参数　的极大似然估计。 　　　对极大似然原理描述如下：对于已有的一组观测数据{y1,y2,…,yN}，它所具有的联合概率分布表示了出现该观测结果的可能性。而观测值{y1,y2…,yN}的联合概率密度函数 　与待估参数　　　 　　的不同的参数值，将有不同的概率密度函数。当　　　，得到该观测值{y1,y2,…,yN}的可能性最大。也就是说，