矩阵理论第2次最速下降法黄金分割法教程分析.ppt

* 无约束最优化问题 1. 黄金分割法 2. 最速下降法 一. 无约束最优化问题 解析方法：利用函数的解析性质构造迭代公式使之收敛到最优解。 一、黄金分割法(0.618法) 定义 f :[a,b] ∈R→ R, t﹡是在 [a,b] 上的全局极小点。如果对于[a,b] 的任意两点t1, t2, 且t1t2都有 当 时， 当 时， 那么f (t)是[a,b] 上的单峰函数. a b 性质 设[a, b]是单峰函数f(t)的极小点的一个搜索区间， 在[a, b]上任取两点t1, t2, 且t1t2，若 则[a, t2]是f(t)的极小点的搜索区间；若 则[t1, b]是f(t)的极小点的搜索区间. 黄金分割法的基本思想: 在搜索区间[a, b]内适当插入两点t1, t2将[a, b]分成三段，然后由单峰函数的性质，就可以删去最左端或者最右端的一段. 然后在留下来的区间上再插入一点，重复上述过程，可将区间无限缩小. 问题是：每次迭代中如何确定t1, t2的位置才能使得在函数值计算同样多的条件下，区间缩短得最快? 经分析可得 二. 最速下降法 迭代公式： 如何选择下降最快的方向？ 梯度法（最速下降法）： 梯度法算法步骤：