第2章最优化问题数学基础.docVIP

第二章 最优化问题数学基础 为了便于学习最优化方法，本章将对与优化方法密切相关的数学知识作一简要介绍，而有些数学知识将在讲解各种算法时，随之介绍． §2.1 二次型与正定矩阵 一、二次型与实对称矩阵 二次型理论在最优化设计中应用十分广泛．应用矩阵的乘法运算，二次型与实对称矩阵紧密地联系在一起了，从而二次型的基本问题又可转化成实对称矩阵问题． 二次型理论问题起源于化二次曲线和二次曲面的方程为标准形式的问题．推广到n维空间中，二次超曲面的一般方程为 用矩阵表示可简记为 其中矩阵A的元素正是二次型的项的系数的一半，是二次型的项的系数．因此，二次型和它的矩阵A是相互唯一决定的，且． 二、正定矩阵 定义2.1 如果二次型 对于任何一组不全为零的数恒有 ， 则称正定，且二次型矩阵A也称为正定． 简言之，一个对称矩阵A如果是正定的，则二次型对于所有非零向量X其值总为正．类似可以给出定义，若二次型，则A为半正定矩阵；若，则A为半负定矩阵；若二次型既不是半正定又不是半负定，就称矩阵A为不定的． 矩阵A为正定的充要条件是它的行列式的顺序主子式全部大于零，即 ． 由此可见，正定矩阵必然是非奇异的． 例2.1 判断矩阵是否正定． 解 ∵ ， ∴ A是正定的． §2.2 方向导数与梯度 一、方向导数 所谓方向导数的概念是作为偏导数的一个推广而引入的，它主要研究函数沿任一给定方向的变化率． 定义