[工学]第四章 无约束优化方法.pdfVIP

第四章 无约束最优化方法 不失一般性，考虑如下的优化问题 min f (x) x ∈R n （1） 若为极大化问题，max f (x ) −min[−f (x )] 无约束最优化方法基本分为两类： 1）解析方法，即使用目标函数的导数信息（一阶或二 阶导数信息）如最速下降法，牛顿法，共梯度法和变尺度 法。 2）直接方法：不使用导数的方法。 XiDian University 主要方法： ●最速下降法 ●牛顿法 ●共轭方向法和共轭梯度法 ●变尺度法（DFP 方法和 BFGS 方法） ● 最小二乘法 XiDian University         考虑如下的无约束优化问题考虑如下的无约束优化问题 min f (x ) nn                                                         s.t . x ∈R 无约束优化问题的极值条件  f (x ) x d          定理1   设函数 在点 处可微，如果存在方向 ，使 TT ∇∇ff ((x )) dd 00 ，则存在实数δδ 00 ，使得对每个λλ∈(0(0,δδ)) ，有 f (x +λd ) f (x ) 。 f (x ) x x 定理2   设函数 在点 处可微，若 是局部极小点，  则梯度∇f (x ) 0 。  Xidian University  ff ((x )) xx xx     定理定理33   设函数设函数 在点在点 处二次可微处二次可微，，若若 是局部极小是局部极小 2 点，则梯度∇f (x ) 0 ，并且海色矩阵∇ f (x ) 半正定。  f (x ) x ∇f (x ) 0       定理4       设函数 在点 处二次可微，若 ， 2 ∇ f (x )