最优化下降算法和线性搜索.ppt

=)楚有讨於斯荀或 章优化 主讲:刘陶文 学好最优化,走遍天下都不怕 课件制作:刘陶文 第二章元约束问题的下降犷法 与线性搜索 第一节无约束问题的最优性亲件 第二节下降犷法的一般步骤 第三节线性搜索 第一节元约束同题的最优性条件 本节,我们來介绍无约東冋题最优解的条件 考案无约東同题 minf(x),x∈R 这里函数∫:R→R是连续可微的 首先,我们介绍下降方向的概念 义2.1.1设x.d∈R,若存在数a0.使得 f(x+ad) f(x),aE(, a) 则称d是函数在x处的一个下降方向;若-d是下降,则称d升 P(a)=f(x+ad) 则函数在处的一个下降方向等价于一元函数(a)在原点处 单调递减 关于下降方向.我们有下面简单的判别和构造定 理2.1.Ⅰ设函数续可微且Ⅴf(x)≠O,则 (1)若向量d满足Ⅴf(x)d0,则是在x处的一个下降方向 (2)若n阶矩阵H对称正定,则向量d=-Nf(x)是在处的 个下降方向特别,d=-Vf(x)是f在处的一个下降方向 近明:(1)由泰勒展开,我们有 f(x+ ad)=f(x)+avf()d+o(a) 由于Vf(x)d0,则当a0且充分小时,aNf(x)d+o(a)0 从而夺在一个花0,使得 f(x+ad)f(x),vaE(o, a) 即d是函数/在处的一个下降方向 (2)当d=-HVf(x)时,由H的正定性知 Vf(x)d=-Vf(x) HVf(x)o 所以由(1)知,d=-Hf(x)是函数在x处的一个下降方向 利用下降方向,我们很窣易将一元函数的极值尞件进行 推广而得到判别多维无约束冋题最优解的条件 我们先来回忆一下一元函数的极值条件(关于极小值点) x∈R(n1) 阶必要条件:∫(x)=0→V(x)=0 二阶必要条1 f(x)=0 ∫V(x)=0 r(x)≥0 l2f(x)半正定 V(x)=0 二阶充分条件 f(x)=0 f(x)0 v2f(x2)正定