03-数据处理与试验设计-2011-06.ppt

某种算法对某类计算误差特别敏感，此时则可以改变算法。也可能由于参数之间相关生严重，这就需要通过实验设计方法予以解决。Box等提出序贯实验设计方法，有目的地选择实验位置，从而改善参数估值的精度。 当模型正确时，模型参数存在着客观的真值 。但是通过参数估计方法得到的仅是参数的估计值 。其原因是由于实验测定量是一个随即变量，由此而获得的参数估计值 也是一个随即变量。它有一个分布，可以由观察值的分布导出。若被估参数的真值为 ，其估计值落入真值左右的某个区间内 的概率为P，用 的分布 p( )来计算： 3.8 参数估计的置信域 尽管无法正确知道未知参数的真值 ，但对参数可作出概率意义的推断，即在估计值 左右某个区间包含真值的概率。区间 就称为估计值 的置信区间；对同样的概率，置信区间小的参数其真值 就可以推断得比较精确。 因此，我们可以用一定的置信概率下的置信区表示参数估计值的精密度。研究参数估计值置信区域的目的 1、因为模型参数在机理模型中的作用是十分重要的，有时在应用上参数值的重要性并不亚于模型观察量计算值。因此，这时不仅要知道参数的值 而且还要知道它的精确度。 2、由于机理模型的参数反映了现象或过程部分的性质，因此，常常可以利用数值的大小及正负特性来判断模型是否正确。 3、利用模型进行实验范围内的计算或范围外的估算时，要估计不在实验点上条件时的误差，要用到参数估计值的置信域。 二维参数正态分布密度函数 二维参数置信区间 对多参数模型，由于参数存在相关性，单个参数置信域不能不能完全说明问题。严格地说，应该考虑联合置信域的大小，单个参数的置信域只能用作粗略的估计和判断。 关于多维参数的置信域的表示方法，如果用计算积事件概率的办法来确定参数的置信域，即利用求单个参数的置信区间的方法，分别求得多维参数的规定置信概率下的置信区间。例如一个二参数的估计问题，当参数估计值呈正态分布时，求得在95%的置信概率下各参数的置信区间如下： (2) 参数的改变量充分小，即 和的 距离充分小: (3) 梯度充分接近于零，即： 概括下降算法为以下四步： (1)估计初值；(2)选择方向；(3)一维搜索；(4)检验结果 在初始点确定后，只要知道方向和步长，下一点的 值就可求得。有的方法中步长是任意给定的，有的则要求最优步长。当下降方向公式确定后，从 点出发，在 方向上求极小值 问题的迭代公式可写作： 在 方向上找极小点称一维搜索，式中t为一维搜索的步长。常用的一维搜索法有进退法、对分法、黄金分割法、二次插值法、三次插值法等。 采用不同的下降方向产生各种最优化方法。根据加速收敛的下降方向求取方法的不同，可将最优化方法分为二大类。 直接法：直接法常是直接通过比较目标函数值的大小来决定下降方向，不需要计算方向导数。 导数法：导数法中的下降方向的选择与该点方向导数的信息有关。 这种区分并不是十分严格的，因为在导数法中用微商来代替导数的近似值，也可以看作可求导数的直接法。 最优化方法 导数法 直接法 最速下降法(负梯度法) 共扼梯度法 牛顿法 拟牛顿法 平方和高斯-牛顿法 阻尼最小二乘法 单纯形法 Rosenbrok Method Powell Method 3.6.1 最速下降法 从直观看，负梯度方向是一种理想的搜索方向，最速下降法是一种理想的最优化方法，但这仅是一种假象。仅仅是在初始 处才具有这种局部的最速下降性质，而对整个极小化过程来说，它却是以较慢的收敛速度进行的。 最速下降法收敛示意图 梯度法下降途径呈锯齿形前进，仅第一，二步较快，以后就很慢。当等高线为椭圆形时，长轴与短轴之间比较大，则收敛速度就更慢。因此，最速下降法常不单独使用，而与其它方法结合，因对初始点要求不高，它可用于计算的前期，当接近极小点时，再用其它收敛速度较快的方法。另外，它也是其它方法的变种，与其它方法有着紧密的关系。 3.6.2 牛顿法 牛顿法基本思想是用一个二次函数去近似目标函数，然后求出这个二次函数的极小点，以它作为所求函数极小点 的近似值。 目标函数 二次连续可微 令 牛顿法迭代公式 ： 牛顿法的下降方向为 牛顿法的几何意义是，当Hessian矩阵正定时，二次函数的等高线是一族椭圆，其中心为二次函数的极小点。 牛顿法的几何意义