最优化理论与算法(第1章).docVIP

最优化理论与算法（数学专业研究生） 第一章 引论 §1.1 引言 一、历史与现状 最优化理论最早可追溯到古老的极值问题，但成为一门独立的学科则是在20世纪四十年代末至五十年代初。其奠基性工作包括Fritz John最优性条件（1948），Kuhn-Tucker最优性条件（1951），和Karush最优性条件(1939)。近几十年来最优化理论与算法发展十分迅速，应用也越来越广泛。现在已形成一个相当庞大的研究领域。关于最优化理论与方法，狭义的主要指非线性规划的相关内容，而广义的则涵盖：线性规划、非线性规划、动态规划、整数规划、几何规划、多目标规划、随机规划甚至还包括变分、最优控制等动态优化内容。本课程所涉及的内容属于前者。 二、最优化问题的一般形式 1、无约束最优化问题 （1.1） 2、约束最优化问题 （1.2） 这里和均为指标集。 §1.2数学基础 一、 范数 1. 向量范数 （范数） （1.3） （范数） （1.4） （范数） （1.5） （范数） （1.6） （正定） （椭球范数） （1.7） 事实上1－范数、2－范数与范数分别是 －范数当 ＝1、2和时情形。 2．矩阵范数 定义1.1 方阵的范数是指与相关联并记做的一个非负数，它具有下列性质： ① 对于都有，而时； ② 对于任意，都有； ③ ； ④ ； 若还进一步满足： ⑤ 则称之为与向量范数相协调（相容）的方阵范数。若令 （这里是某一向量范数） （1.8） 可证这样定义的范数是与向量范数相协调的，通常称之为由向量范数诱导的方阵范数。特别地，对方阵，有： （列和的最大者） （1.9） （行和的最大者） （1.10） （表示的特征值的最大者） (1.11) 称为谱范数（注：方阵的特征值的模的最大者称为的谱半径，记为）。 对于由向量诱导的方阵范数，总有： ，（为单位阵） 对于方阵范数，除了上述由向量范数诱导的范数之外，还有常用的Frobenius范数，简称F-范数： (1.12) 及加权Frobenius范数和加权范数: (1.13) (1.14) 其中为对称正定矩阵。 3. 范数的等价性 定义1.2 设与是上的两个范数，若存在，使得 ， (1.15) 则称范数与是等价的。 容易证明： (1.16) (1.17) (1.18) (1.19) (1.20) 其中是的最大特征值，而是的最小特征值。由此可见，中的常用向量范数均等价，事实上还可证明：中所有向量范数均等价。 4. 关于范数的几个重要不等式。 ① Cauchy-Schwarz不等式 （当且仅当和线性相关时，等式成立） (1.21) ② 设是正定矩阵，则 （当且仅当与线性相关时，等式成立） (1.22) 由是一种内积，以及一般内积的Cauchy-Schwarz不等式即得。 ③ 设是正定矩阵，则 （仅当与线性相关时，等式成立）