《最优化讲义.pptVIP

《最优化原理与方法》 交通工程分院 陈进杰教授 第一章 最优化问题与数学预备知识 §1.1 经典极值问题 §1.2 最优化问题实例 §1.3 最优化问题的基本概念 §1.4 二维问题的图解法 §1.5 二次函数 §1.6 梯度与H esse 矩阵 §1.7 多元函数的Taylor展开式 §1.8 极小点及其判定条件 §1.9 下降迭代算法及其收效性 第二章 直线搜索 §2.1 搜索区间的确定 §2.2 对分法 §2.3 Newton切线法 §2.4 黄金分割法 §2.5 抛物线插值法 第三章 无约束最优化的梯度方法 §3.1 最速下降法 §3.2 Newton法 §3.3 共轭方向法与共轭梯度法 §3.4 变尺度法 第四章 无约束最优化的直接方法 §4.1 单纯形替换法 §4.2 步长加速法 §4.3 方向加速法 第五章 最小二乘问题的解法 §5.1 引言 §5.2 线性最小二乘问题的解法 §5.3 Gauss一Newton法 §5.4 阻尼最小二乘法 第六章 线性规划 §6.1 线性规划的有关概念 §6.2 单纯形浊的基本理论 §6.3 单纯形法 第七章 约束问题的最优性条件 §7.1 等式约束问题的最优性条件 §7.2 不等式约束问题的最优性条件 §7.3 带有等式和不等式约束问题的最优性条件 第八章 容许方向法 §8.1 Zoutendijk容许方向法 §8.2 投影梯度法 第九章 惩罚函数法 §9.1 外部惩罚函数法 §9.2 内部惩罚函数法 第十章 层次分析法 第十一章 多目标决策 第十二章 智能优化计算简介 参考文献 1、陈宝林 《最优化理论与算法》 清华大学出版社 2、薛履中 《工程最优化技术》 天津大学出版社 3、席少霖 《非线性最优化方法》 高等教育出版社 4、邓乃扬 诸梅芳 《最优化方法》 辽宁教育出版社 5、袁亚湘 《最优化理论与方法》 科学出版社 6、薛 毅 《最优化原理与方法》 7、曹卫华 《最优化技术方法及MATLAB的实现》化学工业出版社 O224 第一章 最优化问题与数学预备知识 最优化，顾名思义，就是追求最好结果或最优目标的学问。 所谓最优化是从所有可能方案中选择最合理的一种以达到最优目标的学科。达到最优目标的方案是最优方案，搜寻最优方案的方法是最优化方法，这种方法的数学理论就是最优化理论。 凡是追求最优目标的数学问题都属于最优化问题。作为最优化问题，至少有两个要素：第一个是可能的方案；第二个是追求的目标。而且后者是前者的“函数”。如果第一个要素与时间无关，那末称为静态最优化问题；否则称为动态最优化问题。 §1.1 经典极值问题 最简单的最优化问题在微积分个已经遇到，就是函数极值问题。 例1 对边长为a的正方形铁板，在四个角处剪去相等的正方形以制成方形无盖水槽，问如何剪法使水槽的容积最大？ 解 设剪去的正方形边长为x。与此相应的水槽的容积为 例2 把半径为1的实心金属球熔化后，铸成一个实心圆柱体，问圆柱体取什么尺寸才能使它的表面积最小? 解 设所铸成的圆柱体的底而半径为r，高为h。本问题可以描述成： Min ｛2πrh+2πr2｝ 满足于 πr2h=4/3π 可以采用Lag range乘子法求解这个带有等式约束的函数极值问题。 以上两个例题部是微积分中典型的极值问题，它们虽然简单，可是代表了经典最优化的两种类型问题及其解法。 上述极值问题的求解都归结为非线性方程组的求解，只有在极特殊的情形下才能手解出来(指不用电子计算机求解)。正因为如此，通常微积分课本中为数不多沁极值题目也大都限制在一元和二元的范围内。 关于极值问题研究已有几百年的历史了，随着微积分的成熟，极值理论日趋完善。当代电子计算机出现之后，人们解题的能力空前增强。实际中提出了很多庞大而复杂的极值问题，变量与约束的个数不是几个，而是几十个、几百个、甚至上千个；约束也不限于等式，还出现了不等式。近二、三十年来，人们已经创立了新的理论和方法来求解这种大型问题，这就是近代最优化理论和方法。相对而言，我们把微积分中的极值理论称为“经典”最优化理论。 最优化是一门崭新的学科，有关的理论和方法还没有完善行许多问题右待解决，日前正处于迅速发展之中。 §1.2 最优化问题实例 §1.3 最优化问题的基本概念 1.3.1最优化问题的向量表示法 1.3.2 最优化问题的