第一次基础知识.pptVIP

* 最优化方法 1.教 材：最优化理论与方法 陈宝林，清华大学出版社 2.参考书：最优化原理与方法 薛嘉庆，冶金工业出版社 基本知识 一.引言 四.极值最优化问题的经典方法 二.最优化问题实例 三.最优化问题及基本概念 五.图解法 六.梯度与Hesse阵 七.Taylor展开式 八.凸集与凸函数 九.极小点的判定条件 十.算法及相关概念 十一.中止条件 十二.收敛速度 一. 引言 1. 最优化定义 最优化是从所有可行方案中选择最合理方案以达到最优目标的一门学科。 （1） 达到最优目标的方案：最优方案（最优解） （2） 搜寻最优方案的方法：最优化方法 最优化问题：寻求某些变量的取值使其符合某些限制条件，并使某个目标函数达到最大值或最小值的问题。 一般的数学形式为： 2. 发展简况 经典最优化理论的研究已有很久，最早可追溯到Fermat时代。 1940年前，对多变量函数的数值最优化方法知之甚少，但当时已发现了若干最小二乘法和在物理上应用的最速下降法，多变量的牛顿法也很著名。 40年代与50年代：线性规划（LP）的发展。 二战以后，爬山法得到发展与应用（实用，粗糙）。 1959年，W-C.Davidon的一个报告引入了变尺度方 法。 3.应用领域 工程设计、军事科学、自动控制、空间技术、资源分配、计算机科学等等。例