第一篇 第四篇 无约束条件的间接法.pptVIP

* * 第四节 无约束条件的间接法 复习知识：1. n维向量求导： 2. 设n元函数 在 点展成二阶泰勒公式为： 数学模型: 已知 求：min 一 最速下降法：设f(x)是二次连续可微的凸函数，且具有极小点x*。求min f(x)与求▽f(x)=0的解是等价的。 （一）最速下降法基本原理：从一个迭代点出发向另一更优点寻优； 1.搜寻方向：沿点 的负梯度方向 寻优。直到‖▽f(x)‖2ε 为止。 2. 步长：求使得 的 。 将 展开成 的二阶泰勒展式。 求使 一阶导数为零的 值。 得近似最佳步长 （二）最速下降法步骤： (1)给定初始点X(0)及精度ε0,若‖▽f(x(0))‖2ε, 则X(0)为近似极小点。 （2)若‖▽f(x(0))‖2ε,求步长λ0,并计算 求最佳步长可用以上所述公式。 (3)一般若‖▽f(x(K))‖2≤ε,则X(K)即为所求的近似解;若 ‖▽f(x(K))‖2ε,则求步长λK,并确定下一个近似点 直到达到要求精确度为止。 例1； 用最速下降法求f(x)=(x1-1)2+(x2-1)2的极小点,已知ε=0.1 解： 取 ▽f(x)=[2(x1-1),2(x2-1)]T ▽f(x(0))=(-2,-2)T ‖▽f(x(10))‖2=(-2)2+(-2)2=8ε ▽f(x(1))=[2(1-1),2(1-1)]T=(0,0)T 故 x(1)为极小点。 二 变尺度法（DFP法）：变尺度法也适用于凸函数,它比最速下降法收敛的快.对于高维问题有显著的优越性。 设目标函数 在x(K)点的二阶泰勒展开式为： 设 是f(x)的拟合函数，现求 的 最小值。 由 出发，沿 的方向寻优 计算 可采用前面求单因素问题的任意种方法。 计算 很繁，可用 来代替。 其中 称为尺度矩阵。并设 迭代公式变为： 变尺度法（DFP法）计算步骤如下： (1)给定初始点 及梯度允许误差ε。 (2)若‖ ‖2≤ε,则 为近似极小点。否则 (3)令 在 方向进行一维搜索,确定最佳步长 : 得一迭代点： (4)一般地,设已得到近似点 ,算出 若‖ ‖2≤ε,则 即为所求近似解,否则,按下列公式计算： (5) 若 点满足精度要求,则 即为所求近似解,否则,回到(4),直到某点满足精度要求。若迭代n次仍不收敛,则以 为 以新的 为起点重新开始一轮新的迭代。 例:用DFP法求下述函数极小点 解:令,取 ? 利用一维搜索: