工程优化第4章-2分析报告.ppt

最优性条件 最速下降法 牛顿法及其阻尼牛顿法 共轭方向法 共轭梯度法 变尺度法（DFP算法和BFGS算法）;无约束最优化问题：;从而得到第 k+1次迭代点，即; 最速下降法向极小点逼近是曲折前进的，这种现象 称为锯齿现象。 除特殊的目标函数和极特殊的初始点外，这种现象都会发生。;;对正定二次函数，用最速下降法产生的点列：偶数项点 列均在一条直线上，奇数项点列也均在一条直线上，且 都过最优点. ; 优点：理论明确，程序简单，每次的计算量小，所需的存 储量小，对初始点要求不严格。 缺点：收敛速度并不快，因为最速下降方向仅仅是指某点 的一个局部性质。 最速下降法相邻两次搜索方向的正交性，决定了迭代全 过程的搜索路线呈锯齿状，远快近慢。;;Newton法;;若Hesse矩阵 正定，则 存在，由此求出二次函数 的极小点为 ： 以此 作为 极小点 的一个新的近似。此公式 即为多元函数求极值的Newton迭代公式。;步骤1. 选定初始点 , 计算;步骤1. 选定初始点 , 计算;x1, ε 0, k=1;计算;设;; 牛顿法比最速下降法收敛快。;Newton法的优缺点;Newton法的优缺点;Newton法的改进;在Newton迭代公式中 , 加入精确一维搜索： 求得最佳步长 , 得到下个迭代点 这样修正之后通常可改进Newton法的缺点(1)和(4)。;设 f (x)存在连续二阶偏导数，函数的 Hesse矩阵 正定， 且水平集 有界，则阻尼Newton法或者在 有限步迭代后终止；或者得到的无穷点列 有如下性质： (1) 为严格单调下降序列； (2) 有唯一聚点 ，它是 f (x)的最小点。;例：用阻尼牛顿法求解下列无约束优化问题，已知;令;Newton法的进一步修正;为减小工作量，取m（正整数），使每m次迭代使用同一 个Hesse阵，迭代公式变为： ;(2) Goldstein-Price方法(G-P法)： 取 采用下列非精确一维搜索（Armijo- Goldstein准则）： 求 ，使 ;(3) Levenberg-Marguardt法（L-M法）： 主要思想： 找???尽可能小的 使 正定。 用 取代 进行迭代，其中I 为单位矩阵。 特点：全局二阶收敛。;作业： P 99 4.2，4.3 ; 最速下降法，计算步骤简单，但收敛速度慢。; 设 是对称正定矩阵， 如果 则称向 量p 和q是A共轭的(或称为A正交)。 ;假设f(x)是n元正定二次函数;如果按最速下降法，选取;共轭方向法---共轭方向及其性质;性质2 若Rn中的非零向量p1,p2,…, pm是A共轭向量组，则这m 个向量是线性无关的。;;;共轭方向法---共轭方向及其性质;性质4 设n元函数f(x)=1/2xTAx+bTx+c, A=AT正定，又设n维非零 向量组p1, p2,…, pn是A共轭向量组，从任意点x1出发，依 次以p1, p2,…, pn 为搜索方向进行精确一维搜索，则 (1) ▽f(xk+1)与p1, p2,…, pk (k=1,2,…,n)正交； (2) 最多n次迭代必达到二次函数f(x)的极小点。 ;性质4中(1) ▽f(xk+1)与p1, p2,…, pk (k=1,2,…,n)正交；;;;作业： P 100 4.9, 4.10, 4.12, 4.13, 4.14, 4.17--4.19 ;课件下载邮箱