线搜索方法.pdfVIP

线搜索方法 最优化方法 线线线搜搜搜索索索方方方法法法 张张张立立立卫卫卫 大大大连连连理理理工工工大大大学学学数数数学学学科科科学学学学学学院院院 线搜索方法 最优化方法 授授授课课课提提提纲纲纲 • 无无无约约约束束束优优优化化化问问问题题题 • 收收收敛敛敛速速速度度度简简简介介介 • 线线线搜搜搜索索索方方方法法法 线搜索方法 最优化方法 无无无约约约束束束优优优化化化问问问题题题 线搜索方法 最优化方法 无无无约约约束束束最最最优优优化化化问问问题题题 考考考虑虑虑下下下述述述无无无约约约束束束最最最优优优化化化问问问题题题 min f (x), (1) ∈ℜ 其其其中中中f : ℜ → ℜ是是是实实实值值值函函函数数数 线搜索方法 最优化方法 解解解的的的一一一阶阶阶必必必要要要性性性条条条件件件 解解解的的的定定定义义义 全全全局局局极极极小小小点点点局局局部部部极极极小小小点点点 ∗ 定定定理理理 若若若f : ℜ → ℜ是是是连连连续续续可可可微微微函函函数数数 x 是是是 问问问题题题的的的局局局部部部极极极小小小 ∗ 值值值点点点则则则∇f (x ) = 0 ∗ ∗ ∗ 证证证明明明 令令令ϕ(α) = f (x + α∇f (x )) 由由由于于于x 是是是f 的的的一一一局局局部部部极极极小小小值值值 点点点则则则必必必有有有0是是是ϕ(α)的的的一一一局局局部部部极极极小小小值值值点点点 由由由数数数学学学分分分析析析的的的引引引理理理 ′ ′ ∗ 得得得ϕ (0) = 0注注注意意意到到到ϕ (0) = ∥∇f (x )∥ 即即即得得得结结结论论论 线搜索方法 最优化方法 解解解的的的二二二阶阶阶必必必要要要性性性条条条件件件 ∗ 定定定理理理 若若若f : ℜ → ℜ是是是二二二次次次连连连续续续可可可微微微函函函数数数 x 是是是 问问问题题题的的的局局局部部部 ∗ ∗ 极极极小小小值值值点点点 则则则∇f (x ) = 0∇ f (x )是是是半半半正正正定定定的的的 ∗ ∗ 证证证明明明∇f (x ) = 0由由由定