2数学基础知识讲解.ppt

* 第二章 优化设计数学基础 §2－1 目标函数的Taylor展开 §2－2 目标函数的方向导数和梯度 §2－3 优化设计最优解与极值条件 §2－4 凸集与凸函数 1. 当目标函数为一元函数时，若 f(x)在x0的邻域内有（n＋1）阶导数，则有 2. 当目标函数为二元函数时，若 f(X)在X0的邻域内二阶可微，则有 §2－1 目标函数的Taylor展开 3. 当目标函数为n元函数时，若 f(X)在X0的邻域内二阶可微，则有 其中： 称为目标函数f(X)的梯度 称为目标函数f(X)的Hessian矩阵 由此可得n元目标函数f(X)在X0的二阶展开形式： 4. 二次函数 其中： §2－2 目标函数的方向导数和梯度 一、目标函数f(X)的偏导数： 二、目标函数f(X)的方向导数： 存在,则称该极限值为函数f(X)在处沿方向d的一阶方向导数,简称为方向导数. 记为： 若函数f(X)在X0处一阶偏导数存在，对于给定沿方向d，若极限 定理: 若函数f(X)具有连续的一阶偏导数,则它在X0处沿方向d的一阶方向导数为 设d是单位向量,即‖d‖=1,那么沿d的方向导数可表示为 方向导数的几何意义是: 函数f(x)在x处沿d方向的变化率. 若?f (x) / ?d0,则函数沿d方向增加,函数值上升,因此称d为上升方向. 若?f (x) / ?d 0,则函数沿d方向减小，称d是下降方向. 三、目标函数f(X)变化率最大的方向： 由此可得：当d=▽f(x0)时, 在x0处使方向导数达到最大的方向,称为最速上升方向. 而－▽f(x0)方向使方向导数达到最小的方向，称为最速下降方向。 四、梯度性质 1.梯度是一个矢量，其正方向是函数值增加最快的方向，而负方向是函数值下降最快的方向； 2.梯度的模因点而异，仅反应函数的局部特性； 3.梯度矢量的方向与函数等值线正交； 4.梯度反应了函数值的变化率，及函数的灵敏度。 §2－3 优化设计最优解与极值条件 1. 无约束最优解的定义 对于无约束优化设计问题： 若存在点X*，对于所有X?Rn，都满足条件 则称点X*为无约束优化设计问题的最优点， f（X*）称为最优值， X*和f（X*）称为最优解。 2. 约束最优解的定义 对于约束优化设计问题： 若存在点X*，对于所有X?D，都满足条件 则称点X*为约束优化设计问题的最优点， f（X*）称为最优值， X*和f（X*）称为最优解。 其中D为可行域，即 3. 无约束优化问题极值点存在的条件 对于无约束优化设计问题： 若存在点X*，对于所有X?? ? X- X* ? ? ??，都满足条件 则称点X*为无约束优化设计问题的极小点或极大点。 或 无约束优化问题极值点应满足的必要条件是： 并不一定是无约束优化问题极值点。 但满足的必要条件 的点称为驻点 无约束优化问题极值点应满足的充分条件是： 正定：极小值点 负定：极大值点 不定：鞍点 极小值点 极大值点 鞍点 4. 约束优化问题极值点存在的必要条件 对于约束优化设计问题： 若存在点X*，对于所有X?{? ? X- X* ? ? ???D}，都满足条件 则称点X*为约束优化设计问题的极小点或极大点。 或 约束优化问题极值点的几种典型表现形式 极值点在D的内部 极值点在D的边界 极值点在D的边界 对于约束优化设计问题： Kuhn－Tucker条件 针对不等式约束引入p个松弛变量xn+u，将不等式约束变为等式约束，即 这样，原约束优化设计问题转化为等式约束优化问题，可用拉格朗日方法求解。 拉格朗日方程： 约束优化问题极值点X*应满足的Kuhn－Tucker条件 极值点X*是可行点，即 极值点X*的目标函数梯度是所有紧约束梯度的线性组合，即 §2－4 凸集与凸函数 设集合D?Rn，如果x(1)和x(2)∈D，对于α∈[0,1]，均有αx(1)+(1-α)x(2)∈D，则称集合D为凸集(convex set ） 一、凸集 性质： 1. 若集合D为凸集，则? D为凸集， ?为实数； 2. 若集合A和B为凸集，则A?B为凸集； 二、凸函数 非凸函数 凸函数 设函数f(X)为定义在凸集D上的实函数， X(1)、 X(2)为D上的任意两点，若对于任意实数?（0? ? ?1）恒有下式成立： 则称f(X)为凸集D上的凸函数。 1、凸函数定义 2. 凸函数的性质 1） 若f(X)为凸集D上的凸函数，对正实数?，则? f(X)为凸集D上的凸函数。 2） 若f1(X)， f2(X)都为凸集D上的凸函数，则其和函数 f(X) ＝f1(X)＋ f2(X)亦为凸集D上的凸函数。 3） 若f1(X)， f2(X)都为凸集D上的凸函数，对正实数?和?，则其和函数 f(X) ＝ ? f1