《工程最优化》第五章.pptVIP

§5.2.4 非线性最小二乘问题 （一）最小二乘问题 在工程实际问题中，经常遇到一类特殊的求极小值问题，其目标函数具有平方和形式： 例5.2.3 求解方程组fi(x)=0，（i=1,2,…, m)的问题可化为求解下列优化问题 例5.2.4 通过m组实验数据来建立物理量y与另外l个物理量t1, t2 ,…, tl 之间的函数关系： y = Y(t1, t2 , …, tl ; x1, x2, …, xn) “接近”的衡量标准常用平方和形式 即要确定其中n个待定参数x1,x2,…,xn ，使得经验公式的计算值 与实验值 尽可能地接近。 求解min F(x) 为求解方便，引入向量函数 f(x)=[f1(x),f2(x),…,fm(x)]T 最小二乘问题化为： min F(x) = min f(x)Tf(x) = min ||f(x)||2 （二）最小二乘问题的求解 可直接用前面介绍的单纯形法、Powell共轭方向法、最速下降法、Newton法、 Marquart法求解 最小二乘法 （Gauss-Newton法） ！ 如用Newton法求解，则要求F(x)的Hesse矩阵，太麻烦 ！ 由于最小二乘问题目标函数形式的特殊性，可用计算一阶导数来代替二阶导数的计算 ： ?F(x(k))=2J(x(k))Tf(x(k)) Newton方向： p(k) =－?2F(x(k))－1?F(x(k)) Jacobi 矩阵 J(x)=[Jij(x)]m×n Jij(x) = ?2F(x(k)) ? 2J(x(k))TJ(x(k)) 迭代公式：x(k+1) = x(k) －[J(x(k))TJ(x(k))]－1 J(x(k))Tf(x(k)) x(k+1) = x(k) － [J(x(k))TJ(x(k))]－1 J(x(k))Tf(x(k)) 修正Gauss-Newton迭代公式 tk ? ! 如果在某次迭代中J(x(k))TJ(x(k))变成奇异的，则Gauss-Newton法失效 ! 可直接取负梯度方向－J(x(k))Tf(x(k)) 为搜索方向 修正Gauss-Newton法的算法: P127 §5.2.5 共轭梯度法 由Powell共轭方向法可知，共轭方向是好方向，是否有比Powell共轭方向 法更简单的方法寻找共轭方向？ （一）Fletcher－Reeves共轭梯度法的基本思想 任取初始点x(0) ，然后沿着逐次迭代产生的共轭方向p(k)进行一维搜索： x(k+1) = x(k) + tk p(k) 得到下一个迭代点。 当f(x)为二次函数时，至多经过n次迭代就可得到极小点 构造共轭方向p(0),…,p(n-1)的方法： p(0) = －?f(x(0)) p(k+1) = －?f(x(k＋1)) + ?kp(k) 即下一个共轭方向是当前点处负梯度方向与已求得的最后一个共轭方向的线性组合。 p(0) =－?f(x(0)) －?f(x(1)) p(1) =－?f(x(1))+ ?0p(0) x(0) x(1) ! 要使得p(0),…,p(n-1)相互共轭， 显然?k不能随便取 ！ 记 g(k) =?f(x(k)) F－R共轭梯度法的迭代公式： x(k+1) = x(k) + tk p(k) p(k+1) = －g(k) + ?kp(k) ?k= ||g(k)||2 ||g(k+1)||2 p(0) = －g(0) 以二次目标函数为模型，经推导得：（详细看P129下半页的内容，注意 式5.2.19及5.2.20的推导） 几点说明： 1、“ 重新开始”的策略 原因同Powell共轭梯度法（误差、共轭梯度的个数） 2、何时执行重新开始步骤？ 见PP131 本章要点： 单纯形 单纯形搜索法的基本思想 共轭方向、共轭方向法的基本定理 Powell共轭方向法的基本思想 最速下降法的基本思想及特点 Newton法基本思想及特点 牛顿方向 Marquardt法基本思想 最小二乘问题 共轭梯度法基本思想 拟Newton法的基本思想 第五章 无约束非线性问题的解法 学习的重要性： 1、直接用于无约束的实际问题； 2、其基本思想和逻辑结构可以推广到约束问题； 3、约束问题可以转化成无约束问题求解。 方法分类： 1、间接法：对简单问题，求解必要条件或充分条件； 2、迭代算法： 零阶法：只需计算函数值 f(x) 一阶法：需计算 ▽f(x) 二阶法：需计算 ▽2f(x) 直接法 梯度法 §5.1 直接搜索法 优点：计算不太复杂；易于实施与快速调试；所需的准备时间较少 §5.1.1 单纯形搜索法 1962年由Spe