运筹学使用导数的最优化方法.docVIP

运筹学10使用导数的最优化方法 最优化理论与算法 §10， 使用导数的最优化方法 TP SHUAI 1 第十章 使用导数的最优化方法 最速下降法 牛顿法 共轭梯度法 拟牛顿法 信赖域法 TP SHUAI 2 10.1最速下降法 10.1最速下降法 考虑无约束问题 min f(x), x??Rn (10.1.1) 其中 f(x)具有一阶连续偏导数。 在处理这类问题时，一般策略是，希望从某一点出发，选择 一个目标函数值下降最快的方向，沿此方向搜索以期尽快达 到极小点，基于这一思想，Cauchy于1847年提出了最速下降 法。这是无约束最优化中最简单的方法。 TP SHUAI 3 10.1最速下降法－1 函数f(x)在点x处沿方向d的变化率可用方向导数表示，当函数可微时有，方向导数 Df(x,d) f ( x)Td (1.2)求函数f(x)在点x处下降最快的方向,归结为求 min Tf(x)ds.t d δ1 (1.3)由Schwartz不等式, Tf(x)d δf (x )df (δx) Tf(x)d τf ( x) (1.4)TP SHUAI 4 10.1最速下降法－2 由上式知.当 f(x)d (1.5) f(x)时等号成