最优化理论与算法(第一章).docxVIP

精品文档 精品文档 PAGE PAGE30 精品文档 PAGE 最优化理论与算法（数学专业研究生） 第一章 引论 1.1引言 一、历史与现状 最优化理论最早可追溯到古老的极值问题， 但成为一门独立的学科则是在 20世纪四十年代末至 五十年代初。其奠基性工作包括 FritzJohn最优性条件（ 1948），Kuhn-Tucker最优性条件（ 1951）， 和Karush最优性条件(1939)。近几十年来最优化理论与算法发展十分迅速，应用也越来越广泛。现 在已形成一个相当庞大的研究领域。关于最优化理论与方法，狭义的主要指非线性规划的相关内容，而广义的则涵盖：线性规划、非线性规划、动态规划、整数规划、几何规划、多目标规划、随机规 划甚至还包括变分、最优控制等动态优化内容。本课程所涉及的内容属于前者。二、最优化问题的一般形式 1、无约束最优化问题 minf(x) （1.1） xRn 2、约束最优化问题 minf(x) ci(x)0, i E （1.2） st.. i I ci(x)0, 这里E和I均为指标集。 §1.2数学基础 一、范数 向量范数 x x1 x 2  maxxi（l范数） （1.3） n i1 xi （l1范数） （1.4） n 1 ( xi 2)2（l2范数） （1.5） i 1 1/30 n 1 x p ( xip)p（lp范数） （1.6） i 1 1 xA (xTAx)2（A正定）（椭球范数） （1.7） 事实上 1－范数、2－范数与 范数分别是p－范数当 p＝1、2和p 时情形。 2．矩阵范数 定义1.1方阵A的范数是指与A相关联并记做 A的一个非负数，它具有下列性质： ①对于A 0都有A 0，而A 0时A 0； ②对于任意 k R，都有kA kA； ③AB A B； ④AB A B； 若还进一步满足： ⑤Axp A xp 则称之为与向量范数 p相协调（相容）的方阵范数。若令 Ax Amax x （这里x是某一向量范数） （1.8） x0 可证这样定义的范数是与向量范数 相协调的，通常称之为由向量范数 诱导的方阵范数。特别地， 对方阵A (aij )nn，有： n A1 max aij j 1 i n A max aij i 1 j 1 A2 ( ATA) 2（  （列和的最大者） （1.9） （行和的最大者） （1.10） T 表示ATA的特征值的最大者） (1.11) AA 称为谱范数（注：方阵 A的特征值的模的最大者称为 A的谱半径，记为 (A)）。 对于由向量诱导的方阵范数，总有： 2/30 A1 1 ，I 1（I为单位阵） min Ax x x0 对于方阵范数，除了上述由向量范数诱导的范数之外，还有常用的 Frobenius范数，简称 F-范数： n n 1 1 AF( aij 2)2 [tr(ATA)]2 (1.12) i1 j1 及加权Frobenius范数和加权 l2范数: A A  ,F M,2  MAM MAM  (1.13) (1.14) 其中M为对称正定矩阵。 范数的等价性 定义1.2 设 与 是Rn上的两个范数，若存在 1,20，使得 1x x 2x，xRn (1.15) 则称范数 与 是等价的。 容易证明： x2 x1 nx2 (1.16) x x2 nx (1.17) x x1 nx (1.18) x x2 x1 (1.19) n x2 xA 1x2 (1.20) 其中 1是A的最大特征值，而 n是A的最小特征值。由此可见 ，Rn中的常用向量范数均等价，事 实上还可证明： Rn中所有向量范数均等价 。 关于范数的几个重要不等式。 Cauchy-Schwarz不等式 xTyxy（当且仅当x和y线性相关时，等式成立） (1.21) 3/30 ②设A是正定矩阵，则 xTAy xAyA（当且仅当x与y线性相关时，等式成立）(1.22) 由 T xyxAy 是一种内积，以及一般内积的 Cauchy-Schwarz不等式即得。 (,) ③设A是n n正定矩阵，则 xTy xA yA1 （仅当x与A1y线性相关时，等式成立） (1.23) xTy xTAA1y xA A1yA xA yA1(1.24) 其中的不等号由②可得。 ④Young不等式：假定 p与q都是大于 1的实数，且满足 1 1 x,yR ，有 p 1，则 q xy xp yq ，(1.25) p q 当且仅当xp yq时，等式成立。其证明由算术－几何不等式直接给出，事实上 (x ) 1 (y ) 1 xp yq xy p p q q （算术－几何不等式） p q ⑤H?lder不等式 n 1 n 1 q)q(1.26) xTy x p y q ( xp )p( y i i i 1 i1 其中p与q都是大于 1的实数，且