最优化方法的应用方案.doc

最优化方法 姓名 张 炯 学号 201200144423 一、一维搜索方法的分类 为了每次缩短区间，只需要在区间内再插入一点并计算其函数值。然而，对于插入点的位置，是可以用不同的方法来确定的。 黄金分割法 一类称作解析法或函数逼近法：构造一个插值函数来逼近原来函数，用插值函数的极小点作为区间的插入点 牛顿法、二次插值法等 黄金分割法 黄金分割法要求插入点?1、?2的位置相对于原区间[a,b]的两端点具有对称性，即  黄金分割法的搜索过程 出初始搜索区间[a,b]及收敛精度?，将?赋以0.618 ⑵按前页中坐标点比例公式计算(1和(2 ，并计算其对应的函数值f(?(1)和f（(2)。 ⑶比较函数值，利用进退法缩短搜索区间 ⑷检查区间是否缩短到足够小和函数值是否收敛到足够近，如果条件不满足则返回到步骤⑵ ⑸如果条件满足则取最后两试验点的平均值作为极小点的数值近似值 黄金分割法程序框图  牛顿法 对于一维搜索函数，假定已给出极小点的一个较好的近似点a0，因为一个连续可微的函数在极小点附近与一个二次函数很接近，所以可以在a0点附近用一个二次函数来逼近函数，即在点a0将f(a)进行泰勒展开，并保留到二次项，有 然后以二次函数的极小点作为极小点的一个新近似点，根据极值必要条件 得 得 牛顿法的计算步骤 ⑴给定初始点a0，控制误差(，令k=0 ⑵计算f(x)在ak点的一阶和二阶导数 ⑶利用牛顿法迭代公式求ak+1 ⑷若|ak+1-ak|≤(，则求得近似解a*=ak+1，停止计算，否则作第⑸步 ⑸令k=k+1，然后转第⑵步 牛顿法的优缺点 最大优点是收敛速度快 缺点 每一点处都要计算函数的导数和二阶导数，因而增加了每次迭代的工作量 用数值微分代替二阶导数时，舍入误差会影响牛顿法的收敛速度，当二阶导数很小时问题更严重 牛顿法要求初始点选得比较好，即不能离极小点太远，否则在可能使极小化序列发散或收敛到非极小点  二次插值法 二次插值法又称抛物线法，它的基本思路是：在寻求函数f(α)极小点的搜索区间内，取三个点的函数值来构造一个二次插值多项式p(α),用它的极小点（第四个点）近似地作为原目标函数的极小点。若近似程度不满足精度要求时，可以反复使用此法，从四个点中选取三个点，使函数值呈现“高-低-高”变化的前提下逐渐的缩短搜索区间，二次插值多项式的极小点就逼近原目标函数的极小点。 二次插值法区间缩短的4种情况 二次插值法的流程图  二、牛顿迭代法详解 牛顿迭代法（Newtons method）又称为牛顿-拉夫逊（拉弗森）方法（Newton-Raphson method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。 牛顿迭代法（Newtons method）又称为牛顿-拉夫逊（拉弗森）方法（Newton-Raphson method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。多数方程不存在求根公式，因此求精确根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。方法使用函数f(x）的泰勒级数的前面几项来寻找方程f(x) = 0的根。牛顿迭代法是求方程根的重要方法之一，其最大优点是在方程f(x) = 0的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根，此时线性收敛，但是可通过一些方法变成超线性收敛。另外该方法广泛用于计算机编程中。 设r是 的根，选取 作为r的初始近似值，过点 做曲线 的切线L，L的方程为 ，求出L与x轴交点的横坐标 ，称x1为r的一次近似值。过点 做曲线 的切线，并求该切线与x轴交点的横坐标 ，称 为r的二次近似值。重复以上过程，得r的近似值序列，其中， 称为r的 次近似值，上式称为牛顿迭代公式。 用牛顿迭代法解非线性方程，是把非线性方程 线性化的一种近似方法。把 在点 的某邻域内展开成泰勒级数 ，取其线性部分（即泰勒展开的前两项），并令其等于0，即 ，以此作为非线性方程 的近似方程，若 ，则其解为 ， 这样，得到牛顿迭代法的一个迭代关系式： 。 已经证明，如果是连续的，并且待求的零点是孤立的，那么在零点周围存在一个区域，只要初始值位于这个邻近区域内，那么牛顿法必定收敛。 并且，如果不为0, 那么牛顿法将具有平方收敛的性能. 粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。[1] 军人在进攻时常采用交替掩护进攻的方式，若在数轴上的点表示A，B两人的位置，规定在前面的数大于后面的数，则是AB，BA交替出现。但现在假设军中有一个