4最优性条件.docVIP

第7章 最优性条件 本章，我们研究非线性规划的最优解所满足的必要条件和充分条件。这些条件十分重要，它们将为各种算法的推导和分析提供必不可少的理论基础。 §7.1 无约束问题的极值条件 7.1.1 无约束极值问题 考虑非线性规划问题: (7.1.1) 其中是定义在上的实函数。这个问题是求在维欧氏空间中的极小点，称为无约束极值问题。 7.1.2 必要条件 为研究函数的极值条件，先介绍一个定理。 定理 7.1.1 设函数在点可微，如果存在方向使，则存在数，使得对每个有。[是下降方向] 证明 根据函数可微性的定义，做泰勒展开 其中当时，。 由于，当充分小时，在（7.1.2）中有 因此存在，使得当时，有 从而由（7.1.2）得到 利用上述定理可以证明局部极小点的一阶必要条件。 定理7.1.2 设函数在点可微，若是局部极小点，则梯度 证明 用反正法。设，令方向，则有 根据定理7.1.1，必存在，使得当时，成立 这与是局部极小点矛盾。 下面，利用函数的矩阵，给出局部极小点的二阶必要条件。 定理7.1.3 设函数在点处二次可微，若是局部极小点，则梯度，并且矩阵是半正定的。 证明 定理7.1.2已经证明，现在只需证明 矩阵半正定。 设是任意一个维向量，由于在处二次可微， 且，因此有 （7.1.3） 其中当时， 把式（7.1.3）中移至等号左端，并两端除以，得到 由于是局部极小点，当充分小时，必有 ≥ 以及时， ，因此由式（7.1.3）推得 ≥0 即是半正定的。 7．1.3 二阶充分条件 下面给出局部极小点的二阶充分条件。 定理7.1.4 设函数在点处二次可微，若梯度=0，且矩阵正定，则是局部极小点。 证明 根据函数二次可微的定义，有 （7.1.4） 其中当时，。 现在用反正法。设不是局部极小点，则存在收敛于的点列，使得对每个有 （7.1.5） 把代入（7.1.4），得到 将移至等号左端，两端除以，并注意到，得出 （7.1.6） 令 （7.1.7） 把代入（7.1.6）。由于此式左端小于零，因此有 ， （7.1.8） 由的定义可知，为有界点列，因此存在收敛子序列，当时，有，且。这样，由（7.1.8）得到 ≤0 这个结果与是正定矩阵相矛盾。 7.1.4 充要条件 前面的几个定理分别给出无约束极值的必要条件和充分条件，这些条件都不是充要条件，而且利用这些条件只能研究局部极小点。下面在函数凸性的假设下，给出整体极小点的充要条件。 定理7.1.5 ：设是定义在上的可微凸函数，，则为整体极小点的充要条件是， 证明：必要性是显然的。若是整体极小点，自然是局部极小点，由定理7.1.2可知， 。 现在证明充分性。设，则对任意的，有 由于是可微凸函数，根据定理2.2.7，成立 ≥ 即是整体极小点。 在上述定理中，如果是严格凸函数，则整体极小点是唯一的。 上述介绍的几个极值条件，是针对极小化问题给出的。对于极大化问题，可以给出类似的定理。 例 7.1.1 利用极值条件解下列问题： 先求驻点。由于 令，即 解此方程组，得到驻点 再利用极值条件判断是否为极小点。由于目标函数的矩阵 由此可知 显然为正定矩阵，根据定理7.1.4，驻点是局部极小点。 例7.1.2 利用极值条件解下列问题： 根据的定义，有 令，即