最优化问题数学基础.ppt

（一）约束优化问题的类型约束优化问题根据约束条件类型的不同分为三种，其数学模型如下：（1）不等式约束优化问题（IP型）（2.16）（2）等式约束优化问题（EP型）（3）一般约束优化问题（GP型）第61页,共64页，星期六，2024年，5月（二）约束优化问题的局部解与全局解按一般约束优化问题，其可行域为若对某可行点存在，当与它邻域的点之距离时，总有则称为该约束优化问题的一个局部最优解．下面以一个简单例子说明．设有第62页,共64页，星期六，2024年，5月该问题的几何图形如图2.8所示．从图上的目标函数等值线和不等式约束与等式约束的函数曲线可写出它的两个局部最优解，．这是因为在点邻域的任一满足约束的点，都有同理，亦然．第63页,共64页，星期六，2024年，5月对某些约束优化问题，局部解可能有多个．在所有的局部最优解中，目标函数值最小的那个解称为全局最优解．在上例中，由于，所以全局最优解为．由此可知，约束优化问题全局解一定是局部解，而局部解不一定是全局解．这与无约束优化问题是相同的．第64页,共64页，星期六，2024年，5月由以上定义看到，是局部极小点，是指在以为中心的一个邻域中在点处取得最小的值；而是全局极小点，是指在定义域D中在点处取得最小的值．全局极小点可能在某个局部极小点处取得，也可能在D的边界上取得．实际问题通常是求全局极小点，但是直到目前为止，最优化中绝大多数方法都是求局部极小点的，解决这一矛盾的一种方法是先求出所有的局部极小点，再求全局极小点．第29页,共64页，星期六，2024年，5月定理2.3设具有连续的一阶偏导数．若是的局部极小点并且是D的内点，则（2.5）证设是任意单位向量，因为是的局部极小点，所以存在，当或时总有． （2.6）引入辅助一元函数，此时，由式（2.6）得．又因第30页,共64页，星期六，2024年，5月是D的内点，所以与它对应的是的局部极小点．又根据一元函数极小点的必要条件，得到，即再由单位向量的任意性得．这里条件（2.5）仅仅是必要的，而不是充分的．例如在点处的梯度是，但是双曲面的鞍点，而不是极小点（如图2.2所示）．第31页,共64页，星期六，2024年，5月定义2.12设是D的内点．若，则称为的驻点．定理2.4设具有连续二阶偏导数，是D的一个内点．若，并且是正定的，则是的严格局部极小点．第32页,共64页，星期六，2024年，5月证因为是正定矩阵，则必存在，使得对于所有的都有（参看高等代数二次型理论）．现在将在点处按泰勒公式展开，并注意到，于是可得第33页,共64页，星期六，2024年，5月当充分接近（但）时，上式左端的符号取决于右端第一项，因此一般说来，这个定理仅具有理论意义．因为对于复杂的目标函数，Hesse矩阵不易求得，它的正定性就更难判定了．第34页,共64页，星期六，2024年，5月定理2.5若多元函数在其极小点处的Hesse矩阵是正定的，则它在这个极小点附近的等值面近似地呈现为同心椭球面族．证设是多元函数的极小点，