求解无约束最优化问题的一个新的拟牛顿方法.pdf

l绪论 硕士论文 化问题的其他求解方法的发展，使得无约束最优化问题的研究向前迈进了一大步，有着 其不可轻视的重要意义。 假设目标函数厂(．)c)在X。附近是连续可微的，其中g。=耵G。)≠0，把目标函数f(x) 在X。处二次泰勒展开，从而可以得到 厂(x)=厂G。)+g：G一≮)+o舡一Xkl{l 记X—xI=口々dI，则上式可改写为 厂(x女+a女d女)=／G女)+a女g；dI+00Ia。反ll土 很明显，若d。使得g。T以0成立，那么d。就称为下降方向，并且它使得 标函数f(x)在％处的下降程度也就越大，由柯西-施瓦兹不等式可知只有当dk=-g。 时，g；以的取得最小值，而一g；巩就取得最大值，从而一g：方向就被称为最速下降方 向，所以这里称以负梯度方向一g：为下降方向的方法为最速下降法。 整理可以得到最速下降法的一般迭代步骤即为： xk+1。xt—Qkgk， 其中迭代过程中步长因子口。是通过线性搜索策略而得到的。 最速下降法具有总体收敛的特点，且在运用的过程中，初始点是可以任意取的，它 的计算量也不大，同时它的程序设计也不复杂。但是最速下降方并没有反映函数在整体 上的性质，它仅仅反映了函数在局部上的性质，因此不适合应用于函数整体的求解过程。 1．2．2牛顿法简介 牛顿法【1，21主要是把目标模型函数取定为目标函数的二次泰勒展开式，并把这个目 标模型函数的极小点序列的极限值作为目标函数f(x)的最优值的近似值。 在x。处二次泰勒展开可以得到： D。TV2厂G。声。， 厂G)=厂G。)+夥G。)7’瓯+i1 二 极小化上式的右边可以得到 k。=k一Ⅳ2厂k)l-1wk)， 即称为牛顿法迭代公式，对于正定二次函数的求解问题，牛顿法只需一步就可以取得最 优解，并且对于初始点没有特殊要求，但是对于一般非二次函数，要保证牛顿法的收敛 速度，则要求初始点‰在极小点x’的6邻域内(6取值相当小)，因此牛顿法并不能保 证收敛速度，甚至很难取得最优值。 2 硕士论文 求解无约束最优化问题的一个新的拟牛顿方法 1．2．3共轭梯度法简介 共轭梯度法【21主要应用于求解大型最优化问题，它仅利用了目标函数的一阶导数值 g(x)的信息，但却拥有比最速下降法收敛速度快的优点，同时也不像牛顿法那样需要 存储和计算海森矩阵逆[11-131，这样就相应的加快了收敛速度。 大了共轭梯度法的应用范围。 共轭方向法定义为其所有的搜索方向都是互相共轭的方法，而共轭梯度法是一个典 型的共轭方向方法，它兼具存储量小和计算简便的优点，一些著名的共轭梯度法在式中 确定的成一。的公式为： 记搜索方向 dt=一g女+芦々一ldI—l， 左边乘以d三。G，并使得d五。G以=0，得 轧=雨grG瓦dk_1．(Hestenes-Stiefel公式) 成一。=刁g[j(g夏k刁-gk-,)．(Crowder-wrol佗公式) 卢女一l：粤．(Fletcher-Reeves公式) gl—lgk一1 成一。：篮基≥二_．(P。lak-Ribiere．P。lyak公式) ”一嚣T．(Dixon馘) gk 髓2石踊gk ·(。ai-Yuanff式) G的条件数的大小关系着共轭梯度法的收敛速度，因此我们可以通过改变G的条 件数的大小来改善共轭梯度法的收敛速度，这样就可以实现收敛速度加快的目标。 1．2．4拟牛顿法简介