最优化方法课件03-2摘要.pptVIP

§3.4共轭方向法和共轭梯度法 共轭方向法的思路 定义 3.4.1设n维向量组p1,···,pk线性无关, x(0)∈Rn, 称向量集合 为由点x(0)与p1,p2,···,pk 生成的k维超平面. 超平面上极小点的判断 引理 3.4.1 设f (x)为连续可微的严格凸函数,又 p1,p2,···,pk为一组线性无关的n维向量, x1∈Rn ,则 是f(x)在x1与p1,p2,···,pk所生成的k维超平面Hk上唯一极小点的充分必要条件是 共轭方向法(用于二次函数) 已知k个点与k个方向之后,令xk+1=xk+ak pk,进行精确一维搜索,确定xk+1,再确定pk+1. 共轭向量 共轭方向法(用于二次函数) 注:在前面讨论思路时,根据方向的共轭性(正交性)得到xk+1是目标函数在k维超平面上的极小点(后面的定理3.4.3给出严格证明). 根据上一页的推导,根据极小点可以推出共轭性(正交性),即若一种迭代方法每次求出的是二次函数在k维超平面上的极小点,则对应的方向是共轭的. 基本概念 二次终止性 如果一个算法经过有限次迭代就得到正定二次函数的极小点,称该算法具有二次终止性. 共轭方向法 是一种迭代方法,每次所取方向与前面的方