优化设计建模及数学基础预案.ppt

* * * * 六、 优化设计的数值计算方法 1、解析法 根据目标函数的导数的变化规律与函数极值的关系，求得极值点。 2、数值迭代法（下降迭代算法） 基本思路：每迭代一次应该使函数的目标值有所改善，得到一个可行的计算点，也就是下降算法的步步下降，点点可行，即“步步逼近”最优点。同时还要为下一步迭代的移动提供有用的信息。直到最后获得足够精度的近似解，而终止计算。 * * 迭代过程可归纳如下： （1）?? 初选一个尽可能接近最优点的初始点X(0)。 （2） 在X(0)点，选择一个搜索方向S(0)。从X(0)出发，沿S(0)方向作射线，在此射线上找到一个把f(X(0)+λ(0) S(0)下降最多的步长因子λ(0)，于是获得新点 X(1)= X(0)+ λ(0) S(0) 它应满足 f(X(1）)f(X(0)) （3） 第k次迭代点按下式产生X(k+1)= X(k)+ λ(k) S(k),直至满足终止准则，即得极小点X*。 * * 在迭代算法中，合理地选择搜索方向S(k)和步长因子λ(k)是优化方法的主要问题。 选择的方法不同就构成了种种的优化方法。但有一点是共同的：它们易于通过数值计算获得，并能使目标函数稳步地下降。 当搜索S (k )确定后，步长因子λ(k)应使目标函数值下降最多，这样的步长因子称为最优步长因子。求解最优步长因子——单变量λ(k)的问题是一个一元函数的极值问题，即 f (X (k)+ λ(k) S(k))=min f (X(k)+ λ(k) S(k)) 这样求得的λ(k)即为最优步长因子。 * * 迭代终止准则 实际上，对于一个优化问题。其目标函数的理论极小值在哪里预先不可能知道，因此要找到一个理想的终止准则是很困难的，而只能从每一步迭代计算中所得到的信息来进行判断。 常用的准则有以下三种： （1）? 点距准则——当相邻两点X (k）、X(k+1）之间的距离已充分小，即 ‖X(k+1)-X(k)‖ε1 或 * * （2）?函数下降量准则——当目标函数的下降量已充分小，即当∣ f(X(k+1）)∣1时，用 ∣f(X(k+1))-f(X(k))∣ε2 当∣ f(X(k+1）)∣1时，用 其相对值 ∣f(X(k+1))-f(X(k))∣/∣f(X(k))∣ε2 （3）梯度准则——目标函数在迭代点的梯度已充分小，即 ‖▽f(X(k+1))‖ε3 以上式中，ε1、ε2、ε3称为判别收敛的允许误差或精度控制量，一般取为ε=10-3～10-7，上述准则都在一定程度上反映了逼近最优点的程度，但都有一定的局限性，在实际应用中可取其中一种或两种甚至三种同时满足来进行判断。 * * * * * * * * * 小结 * * 3.2 优化方法的数学基础 一、函数的方向导数与梯度 二、多元函数的泰勒公式及海森(Hessian)矩阵 三、目标函数的无约束极值条件 四、函数的凸性与凸函数、凹函数 五、目标函数的约束极值问题 六、迭代算法 * * 1、方向导数 多元函数的微分学中我们已经知道，函数 f (X) 在某点的偏导数是函数在该点沿各坐标方向的变化率。依此类推，对于 n 维函数，沿方向S的方向导数则为： 一、函数的方向导数与梯度 * * 方向导数表明了函数在该点沿给定方向 S 的变化率，是一个标量。 * * 2、函数的梯度 在同一点处，函数沿不同方向的变化率一般是不同的。我们关心的是函数变化率最大的方向。 以二元函数f(x1,x2)为例说明梯度的概念 函数在某点沿任意方向 S 的方向导数为： * * 当梯度▽f 与 S 方向夹角为零，方向导数的最大值为‖ ▽f ‖，即梯度的模就是函数的最大变化率。此方向称之为梯度方向。 * * （1）函数在给定点的梯度方向是函数等值线或等值面在该点的法线方向。 （2）某点梯度方向是函数 在该点具有最大变化率的方向。如图： * * 推广到n维函数，函数在某点的梯度定义为如下向量，其模为如下表达式： * * 例： * * * * * * 二、 多元函数的泰勒公式及海森(Hessian)矩阵 设 n 元函数 f(X) 在 X(k) 点至少有二阶连续的偏导，则在这一点临近的泰勒展开式取二次项时为 *