第一章第一节最优化方法.pptVIP

第一章 最优化方法 最优化问题：为了使某些目标达到最好的结果，需要找出使此目标达到最好结果的有关因素条件，这类问题在数学上称为最优化问题。 目标函数：目标变量关于各因素之间的函数。 约束条件：各因素变量间存在一定限制条件，这通常可用一组等式或不等式表达，称这种限制条件为约束条件。 第一节 基本概念 1.1 数学模型 无约束条件的非线性最优化问题数学模型为： minf(x) 有约束条件的非线性最优化问题数学模型为： 其中x为n维殴氏空间的点 f（x）为目标函数； 是约束条件。若模型不含有（2）和（3）则为无 约束条件最优化问题。通常（1）-（3）是非线 性的。 若需要求maxψ(x)时，可等价为求 f（x）=-ψ(x)的最小值Min f（x）。 1.2 极值的必要条件 在一元微积分中我们知道，若函数f(x)在点 的偏导数存在且连续，并在该点取得极值时， 则必有: 对n维欧式空间点 的偏导数存在且连续，并在该点取得极值时，则必有: 称 为 f(x) 在点 的梯度。 我们知道，沿梯度方向，是函数值变化最大的方向，沿- 方向，是f(x)下降最快的方向。 如果能求得（4）的所有解，比较这些解的函数值，就可以找到最优解。 1.3 充分条件 定理：已知f(x)在区域R上二次连续可微，在点 处，有 若f（x）的Hesse矩阵 1.4 凸函数和凹函数 凸集定义： 设 k 是 上的一个点集。 则称k为凸集。 实心圆、实心球体、实心锥体都是凸集， 从直观上说，凸集就是没有凹入内部的点集。 对于凸函数它的极小值就是最小值。求 * * 线性规划问题：如果目标函数和约束条件都是线性的则称这类最优化问题为线性规划问题，否则称为非线性规划。 研究最优化问题的方法大致分为二种： 一种方法称为间接法：即解析法，就是用数学解析式表达目标函数和约束条件，然后用数学的方法求得最优解。 第二种方法称为直接法。优化目标函数无数学表达式，优化过程不经过中间阶段，直接通过少量试验，根据结果比较而求得最优解或近似最优解。此法也可用于求复杂目标函数的最优解。 是正定阵，则f(x)在点 处取得极小值。 Hesse矩阵的左上角各阶主子式都大于零。称为正定矩阵. 练习1 求： 的梯度及Hesse矩阵。 练习2 求： 的梯度及Hesse矩阵。 则称f(x)为在K上的凸函数。反之称为凹函数。 凸函数任意两点的联线都在函数图形的上方。 x y 最优解：满足约束条件的点(解），称为可行点（解）；所有可行解的集合为可行域。 使目标函数达到最小的可行解为最优解 。 最优化问题就是求最优解问题。