运筹学 第8节.pptVIP

第八节 无约束非线性规划问题的解法——梯度法 * * 无约束非线性规划问题 无约束极值问题 跌代法 解析法 直接法 梯度法（最速下降法） 共 轭 梯 度 法 牛 顿 法 步长加速法 变尺度法（拟牛顿法） 重点介绍 无约束极值问题的解析法中，梯度法是最古老但又十分基本的方法，它是理解其他最优化方法的基础。 选定某一初始点 X(0)，并令 k =0； 确定搜索方向 P(k) ； 从 X(k) 出发，沿搜索方向 P(k) 求步长 λk ，以产生下一个跌代点X(k+1)：X(k+1)=X(k)+ λk P(k) 检查得到的新点 X(k+1) 是否为极小点或近似极小点。若是，停止跌；否则，令 k=k+1，转步骤（2）继续跌代。 跌代法的步骤 X * P(k) X(k+1) X(k) P(k) λk 搜索方向 步长 等值线 一、梯度法的基本原理 X(k) 为极值点的第 k 次搜索，X(k+1)为第 k+1 次搜索，则 X(k+1)=X(k)+ λ P(k) （ λ 0） 现将 f(X(k+1)) 在 X(k) 点处泰勒展开可得： f(X(k+1)) = f(X(k)+ λ P(k)) = f(X(k))+ λ▽f(X(k))TP(k) + o(λ) 泰勒（Taylor）公式 函数 f(x) 在含有 x0 的某个开区间 (a,b) 内具有直到(n+1) 阶的导数，则当 x 在 (a,b) 内时，f(x)可以表示为 (x-x0) 的一个 n 次多项式与一个余项之和。 f(X(k)+ λ P(k)) = f(X(k))+ λ▽f(X(k))TP(k) + o(λ) ▽f(X(k))TP(k) 0 f(X(k+1))=f(X(k)+ λ P(k)) f(X(k)) 令 X(k+1) =X(k) +λ P(k) 可使目标函数值得到改善。 如果 ▽f(X(k))TP(k) 0 如何选取 P(k) 和 λ 才能使目标函数值得到改善。 向量 ▽f( X(k)) 和向量 P(k) 的夹角 二、如何选取向量 P(k) 下面来分析向量 P(k) 如何选取，才能使：▽f(X(k))T · P(k) 0，且越小越好。 向量：既有大小又有方向的量叫做向量。 从不同点出发的不同的有向线段，只要方向和长度相同，所表示的向量就相等。 向量的模：向量的长度。 向量的加法：平行四边形法则。 向量 OA 和 OB 的和等于以这两个向量做相邻两边，作平行四边形的对角线向量 OC 。 向量的减法：三角形法则。 向量 OA 减 OB 的差等于由 OB 的终点到 OA 的终点所成的向量 BA 。 向量的数量积：向量 OA 和 OB 的数量积等于向量 OA 的模、向量 OB 的模、向量 OA 和 OB 夹角余弦的乘积。 故向量 ▽f( X(k)) 和向量 P(k) 的方向相反时，即夹角θ= 180度时，cosθ= -1， ▽f(X(k))TP(k) 值最小。 下面来分析当向量 ▽f( X(k)) 和向量 P(k) 的夹角取何值时，才能使▽f(X(k))TP(k) 0，且越小越好。 由此可知 P(k) = - ▽f(X(k)) ，是使函数值下降最快的方向，因为该方向同梯度方向相反，故称为负梯度方向。 有时搜索方向 P(k) 也常取 ： 这种搜索方向 P(k) 取值对问题的求解不会造成任何影响。 方向一致，只是其模为 1。 同 三、如何选取 λ 因为 P(k)= -▽f(X(k))，故 λ 取任何值均满足下一次跌代所得的解 X(k+1)比上一次的解 X(k)更优，即 下面来确定 λ 取任何值时，才能使下一次跌代所得的解 X(k+1)最优。 利用上式如能求出λ值即为最佳步长。 将 在 X(k) 处泰勒展开： 如利用式 无法求出λ值。 近似最佳步长 同理可证，当 时 最佳近似步长 λ 为： （1）任意选取步长 λ 的值。 求出最佳步长λ的值。 （2）利用式 （3）利用下式求出最佳步长λ的值。 四、算法步骤 给定初始近似点 X(0) 及精度ε 0。 设已跌代到点 X(k)，如‖▽f(X(k))‖2 ≤ ε，则 X(k) 即为近似极小点。 若‖▽f(X(k))‖2 ε，任意选取步长值或利用相关公式求出最佳近似步长值。 根据近似步长，利用下式确定下一近似点。 例 试用梯度法求 f(X)=(x1-1)2+(x2-1)2 的极值点，已知ε= 0.1。 解：取初始点 X(0)=(0,0)T 。 X(1) = (1,1)T 即为极小点。 例 试用梯度法求 f(X)=(x1-1)2+(x2-1)2 的极值点，已知ε= 0.1。 解：取初始点 X(0)=(0,0)T 。 X(1) = (1,1)T 即为