[管理学]西南交大运筹学《无约束最优化方法》.pdf

运 筹 学 Operations Research Operations Research 无约束最优化方法 无约束最优化方法 西南交通大学经济管理学院 西南交通大学经济管理学院 §1.最速下降法 §2.Newton法 §3.共轭梯度法 §4.变尺度法 §5.直接法 §1.最速下降法 n k 设P ∈E 是单位向量, 即P 1, 函数f 是连续可微的,它在X 处的梯度 非零：∇f (X k ) ≠0 f (X k +λP) f (X k ) +λ∇f (X k )T P +o(λ P ) f X X k P ( )在点 处关于方向 的方向导数为： f k λ k λ k T λ ∂ f (X + P) −f (X ) ∇f (X ) P +o( ) k T lim lim ∇f (X ) P ∂P λ→0 λ λ→0 λ k T k k 使∇ ( ) 取最小的 就是使下降最快的方向 。记θ 为∇ ( ) f X P P f X 和 之间的夹角，则 P ∇f (X k )T P ∇f (X k ) ⋅ P cos θk ∇f (X k ) cos θk §1.最速下降法 可知，当 k 时，上式最小，所以 : θ π P k −∇f (X k )是从点 X k 出发使 f 下降最快的方向。 通常把它叫做 f 在点 X k 处的最速下降方向。 f X k X k f X k 若∇ ( ) 0，则 是 的驻点。 已是满足 (NP )的 局部最优解的必要条件 的点 这时 在点 X k 处不需要 , , 再去寻找使 f 下降的搜索方向。 §1.最速下降法 为了由点X k 得到下一个近似点X k ＋1, 在选定了搜索 方向之后 还要确定步长 。选择用固定步长时 若步 , , λ 长选得小 则收敛慢 计算次数较多 若步长选得大 则 , , ; , 在极值点附近出现来回 振荡的情况。所以一般 采用 最佳步长方法, 即通过在负梯度方向上 的一维搜索, 来 确定使f (X )最小的λ ,作为点X k 的最佳步长，即 : k f (X k −λ∇f (X k ))