外文文献翻译 数学专业.doc

重 庆 理 工 大 学 文 献 翻 译 二级学院 数学与统计学院 译文： 摘自：The Newton Raphson Algorithm for FunctionOptimization Kevin Quinn Assistant Professor Department of Political Science and The Center for Statistics and the Social Sciences Box 354322, Padelford Hall University of Washington Seattle, WA 98195-4322 October 25, 2001 一、引言 通过这个课程的学习我们将有兴趣计算最大似然估计（极大似然估计）。例如我们常常观察到的复杂的非线性函数的数据。因此，通过我们的计算封闭形式的去表达这极大似然估计的形式一般是不会存在模型的 牛顿拉夫森算法是一个迭代的过程，可用于计算出极大似然估计。其背后的算法的基本思想的内容。首先，围绕一些初步的参数值构造一个二次近似逼近的有利函数（希望能接近最大似然估计）。其次是，调整参数值让其最大限度地提高二次近似。此过程再不断的重复进行，直到参数值稳定。 这就说明开始容易想象出一个函数遇到最大化的一个变量。在这种情况下开发，我们转而更为一般的情况下最大化的一个变量k的函数 。 二、牛顿拉夫森算法求变量1的函数的最大值 2、1泰勒系列的逼近问题 牛顿拉夫逊算法的第一部分的发展是设计一个近似函数表示似然函数就可以很容易的最大化的分析。要做到这一点，我们需要利用泰勒定理。 定理1（泰勒定理（1维））假设函数f次可微的开区间I上的，对于任意的一点到在I区间上存在的一点在到上例如： . (1) 他可以表示成为从到的方程的高阶项从到更快于从到。这就意味着（最小值） 这被称作一阶泰勒的近似函数f在x上的，小的值可以构建一个更准确的逼近函数： 请注意第一阶泰勒的近似可以重写为被称为一个二阶泰勒的近似函数f在上的值如： 从到.这凸显一个事实，即一阶泰勒的近似的线性函数在上的。同样的，二阶泰勒的近似值可以被改写成为： 当，，且。这凸显出的一个事实，即是二阶泰勒近似值是在上的第二阶多项式。 2、2查找到的其最大值的二阶多项式 假设出我们想要找出的值能最大化的 首先，我们计算出的一阶导数的函数为： 我们了解到这，当的值是时，其中函数的值达到最大，换句话说，我们都知道 求解我们发现。第二阶的条件就是。这意味着 的值将是最大无论什么时候当. 2、3牛顿拉夫森的算法 假设我们想要找到的值当最大化的二次连续可微的函数的值。 记得 当，且。这就意味着： 一阶条件的（记为）值能最大化就是是： 这就意味着。换而言之就是， 在的函数值能最大化的二阶泰勒近似值为函数 考虑到这一点，我们可以指定用于一维的函数优化问题的牛顿拉夫森算法。 算法2、1：牛顿拉夫森一维的（，，公差） 发表评论：找出求的值能最大化的函数： 当 Do 回到 注意事项：注意牛顿拉夫森算法，不检查的二阶的必要条件为是最大化。这就意味着，如果你给一个错的开始x的值的算法，你可能最终是最小的，而不是一个最大的。 2、4例如：计算二项式抽样模型的极大似然估计 看到牛顿拉夫森算法的工程实践中如何让看一个简单的示例，二项式抽样与分析解的简单的模型。 我们的对数似然函数是： 当为样本容量时，就是成功的次数，是一个取得成功的概率。一阶导数对数似然函数是： 二阶导数对数似然函数就是： 解析，我们知道的最大似然估计是：。 举一个例子，假设且。解析，我们知道的最大似然估计是。让我们来看看如何在这种情况下解出牛顿拉夫森算法。 我们首先设置公差级别。在这种情况下的，让将它设置为0.01（在实践中你可能想要的东西更接近0.00001）。下一步，我们初始猜测的最大似然估计（记为）。假设。的这是在绝对值大于0.01的公差。 因此我们设置为： 。 现在我们计算出，它仍然是在绝对值大于的公差。因此我们设置为： 是约等于是绝对值小于的公差，这样我们就可以停止了。牛顿拉夫森算法返回pi的的值等于到接近0.3994，这是合理的分析值0.40。请注意，我们可以设置的容忍水平接近的牛顿拉夫森过程更准确（机器精密度范围内）。 三、牛顿拉夫森算法求最大的变量的函数 3、1泰勒级数逼近问题维度 考虑函数至少有两次的连续可微。假设且。然后给出一阶泰勒近似值在函数上的一个被写为：