第4节优化2(10.5).pptVIP

推论10 Rn 中Q 共轭的向量组中向量的个数最多n 个。 引理11 （n 维正交定理）设 (1) P1,P2,…，Pn 为线性无关的 n 维向量； (2) n 维向量 x 与P1,P2,…，Pn 都正交；则 x = 0 证明 由假设（2）得 PiTx = 0，i =1,2,…,n，因此 x = 0 ， 所以 P x = 0 ，其中 ú ú ú ú ú ? ù ê ê ê ê ê ? é T n T T P P P 2 1 … P = = , ú ú ú ú ú ? ù ê ê ê ê ê ? é T n T T P P P 2 1 … ú ú ú ú ? ù ê ê ê ê ? é nn n n n n p p p p p p p p p 2 1 2 22 21 1 12 11 … … … … … … … 而 PiT =（pi1,pi2…,pin），（i =1,2,…,n） 由假设（1）知 ≠0，再由P x= 0 得 x = 0。 P T x = 0 t y ü ） 点积为 ） 点积为 0 ( 0 ( x p2= 0 x p1= 0 例如，n =2时,若向量 P1 与 P2 线性无关，则 P1 与 P2 不平行，由 二 产生共轭方向的算法 1） 取初始点 x（1）∈R n，置k :=1。 2） 计算 d（k）= -▽f(x（k）)。 4） 令 x (k+1) = , d (k+1) = - f(x(k+1))+ 。 ) ( ) ( k k k d x l + ) ( ) ( ) ( ) 1 ( ) ( )] ( [ k T k k T k k f Qd d Qd x + ? = a ? ) ( k k d a 5）若k = n-1，则停；否则置k : =k+1转3）。 设 ) ( x f c T T + + x b Qx x 2 1 = , QT =Q 0 3）线性搜索： f(x(k) + ld (k) ) = f(x(k) + lkd (k) ) 。 0 min 3 l 说明： 2. 上算法至多迭代 n 次必达到最优点（称为二次收敛）。 3. ak 还可取 ，k =1,2,…,n -1 k T k k k T k k g g g g g ) ( 1 1 - = + + a ，k=1,2,…,n-1 2 2 1 k k k g g + - = a 1. 由上算法产生的d（1）, d（2）,…, d（n）是一组Q 共 轭向量，g1, g2,…, gn是一组正交向量，其中 gk = ▽f(x（k）) 三．共轭梯度法 Fletcher-Reeves共轭梯度法 1） 取初始点 x（1）∈R n，允许误差 ε 0。 2） 若 ≤ε,则停, x*≈x（1） ；否则转3)。 ) ( ) 1 ( x f ? 3） 令 d（1）= -▽f(x（1）), 置 k =1。 5） 令 x (k+1) = ,求gk+1= f(x（k+1）)。 ) ( ) ( k k k d x l + ? 6） 若 ≤ε,则停, x*≈x（k+1） ；否则转7)。 1 + k g 7） 若 k = n, 则置 x（1）:= x (n+1) ,转3)；否则转8)。 8） 计算 ，d（k+1）= - gk+1 + 置k : = k +1 转4)。 2 2 1 k k k g g + = a ) ( k k d a 4） 求 lk ： f(x(k) + ld (k) ) = f(x(k) + lkd (k) ) 。 0 min 3 l 说明: 1. 第 7 ) 步为重新开始步, 用于非二次函数 (对非二次函数某 x (k) 之前不一定共轭, 但是是下降方向, 故某 x (k) 之后近似二次函数)。为了避免误差积累和加快收敛,也可采用重新开始整个算法。 2. 解线性方程组 Qx +b =0 时，也可用此法。把此方程组看为 xTQx +bTx 的梯度。 2 1 3. 对二次函数或解线性方程组时，也可用公式 , 来计算 和 。 ) ( ) ( ) ( ) ( k T k k T k k Qd d d g - = l ) ( ) ( ) ( 1 ) ( k T k k T k k Qd d Qd g + = a k l k a 4. 若 f(x)不是二次函数，加一个修正项（二次严格凸函数时，此修正项为 0 ）较好，即用 这就是Polyak-Polak-Ribiere共轭梯度法。 2 1 1 ) ( k k k T