最优化问题与数学预备知识.docVIP

第一章 最优化问题与数学预备知识 最优化问题的一般形式 给定目标函数，满足不等式约束及等式约束，记为： ，其中 满足所有约束的向量称为容许解或容许点，容许点集合称为容许集。 从最优化问题的一般形式可以看出，最优化要解决的问题就是在容许集中找一点，使目标函数，在该点取极小。 这样称为问题的最优点，而相应的目标函数值称为最优值。 2.最优化问题分类 最优化问题可分为静态问题和动态问题两大类，本书只讨论静态问题。 静态最优化问题又可分为无约束问题和约束问题两类。 例：求Rosenbrock函数大极小点，即。 这是一个无约束二维问题。 例：求优化问题 的最优解。 这是一个约束最优化问题。 无约束问题又可分为一维问题及n维问题，求解一维问题的方法称为一维搜索或直线搜索，在最优化方法中起着十分重要的作用，故单独列出。 约束问题又分为线性规划和非线性规划。 3.二次函数 1)二次函数的一般形 它的矩阵形式是 其中, 这里是对称矩阵。 我们称特殊的二次函数为二次型。（无一次项和常数项） 2)正定矩阵 设是阶对称矩阵。 若且时都有，则称矩阵是正定的； 若都有，则称矩阵是半正定的； 若且时都有，则称矩阵是负定的。 若都有，则称矩阵是半负定的。 一个对称矩阵是不是正定的，可用sylvester定理判定，该定理内容是。 一个阶对称矩阵是正定矩阵的充分必要条件是，矩阵的各阶主子式都是正的。 3)二次函数的最优解析解 如矩阵是正定矩阵，的等值面是同心椭球面族。其中心是，还可证明恰是二次目标函数的唯一极小点。 综上所述，对于二次目标函数有有效的求极小点的算法。该算法也可用于一般目标函数小范围内的最优解搜寻，即当搜索区域位于最优点附近时，该方法是一种有效算法。 最优化理论中判定一个算法的好坏标准之一，就是把该算法用于为正定的二次目标函数，如果能迅速地找到极小点，那就是好的算法；否则就是不好的或不太好的算法。 特别地，当把一个算法应用于为正定的二次目标函数时，如果在有限步内就能求出极小点来，那么这种算法称为二次收敛算法，或具有二次收敛性。 4.梯度与Hessian矩阵 1)多元函数的可微性与梯度 定义1:对于函数，如果存在n维向量，对于任意n维向量,有： ，则称在处可微。 显而易见，如在处可微，则有： 实际上就是的偏导数向量 证明如下： 令； 取，其中是无穷小变量，是第个坐标轴上的单位向量，即： 定义2: 以的n个偏导数为分量的向量称为在处的梯度，记为 因此，这个公式与一元函数的Taylor展开式是相对应的。 2)方向导数 定义: 设是定义在中区域上的实值函数，在点处可微，是固定不变的常量，是方向上的单位向量，则称极限为函数在点处沿方向的方向导数。 若，则从出发在其附近沿方向是下降的。 若，则从出发在其附近沿方向是上升。 事实上，若，则当且充分小时，必有，即，即是下降的。 同理可说明，若，是上升的。 定理：设是定义在中区域上的实值函数，在点处可微，则，其中是方向的单位向量。 证明：因为 推论：若，则方向是函数在点处的下降方向； 若，则方向是函数在点处的上升方向； 方向导数的正负决定了函数的升降，其绝对值的大小决定函数值升降的快慢。绝对值越大，升降的速度就越快。 3)最速下降方向 其中是梯度与方向的夹角。因此，函数负梯度方向就是函数的最速下降方向。 4)梯度的性质 ①函数在某点的梯度若不为零，则必与过该点的等值面垂直。 ②梯度方向是函数具有最大变化率的方向。 ③若，则，即 ④ ⑤ ⑥ 5) Hessian矩阵 (1)向量值函数的导数 设是定义在中区域上的向量值函数,如果的所有分量在点都可微，那么向量值函数在点处称为可微。 若在点处可微，则对于任意的n维向量都有 因为向量的极限是通过它所有分量的极限来定义的，所以上式等价于 其中称为函数在点处的导数。也称函数在点处的Jacobi矩阵。 设，并且，其中是n元函数，假定它具有二阶连续偏导数。则： 在微积分中已经证明过，当的所有二阶偏导数连续时，有，在这种情况下，Hessen矩阵是对称的。 (2)几个特殊向量的导数 ①,其中是分量全为常数的维向量，是阶零矩阵。 ②， ③ 3)的一二阶导数 设 5.多元函数的Taylor展开式 定理: 设是定义在中区域上的实值函数，具有二阶连续偏导数，则： 其中，而 证明：设，于是 按一元函数Taylor展开定理把在点展开，得到 ，其中。 ，因此 ，因此 代入上式，即得证。 多元函数的Taylor展开式还可写为： 6.极小点及其判定条件 1)基本定义 邻域定义：对于任意给定的实数,满足不等式的的x的集合称为点的邻域，记为 非严格局部极小点：设，若存在点和