第4章续 多变量寻优方法.docVIP

4.4：梯度法 解析法（间接法）：在确定搜索方向时，需要计算目标函数导数的方法。 梯度法，共轭梯度法，变尺度法，牛顿法。 方法 又称最速下降法，它是在点附近沿负梯度方向一维搜索，并按负梯度方向逐步进行寻优的方法。最简单最基本的无约束优化问题方法 收敛性判别准则 给定允许误差，如果满足 则搜索停止，从而得到问题的近似解。 迭代步骤 1：取初始点，梯度模的允许误差，最大迭代次数MAXI，令k=0； 2：计算梯度 3：检验是否满足收敛性判别准则 若满足，则迭代停止，得到；否则进行4 4：求单变量极值问题的最优解 5：令 6：判断是否满足 若满足，则迭代停止，得到；否则进行7 7：令 k=k+1 8：判断迭代次数 若满足，则迭代停止（非正常），取，否则转向2 迭代框图 优点 程序简单，计算机实现起来容易。对起始点要求也不甚严格，即使从一个较差的初始点出发，一般也能收敛到极小点。 缺点 在极小点附近收敛得很慢，对于目标函数而言，在起始点远离极小点时，开头几步下降较快，到了极值点时，下降便开始变缓慢，甚至在极小点附近出现来回摆动的情况。 它的收敛快慢与变量尺度关系很大。 一次迭代 [0,0] 十次迭代 对于小扰动会出现不稳定。舍入误差或者一维搜索步长的确定不准确，带来小扰动，这些小扰动在个别情况下甚至可能使实际下降方向与理论下降方向成正交的荒谬结论，破坏了方法的收敛性。 4.5：共轭梯度法（FR法） 找到某一个方向的共轭方向，可以一步直接达极值点。 计算方法 正定二次函数，C为对称正定阵。 若为任意一组C的共轭向量，则由任意初始点出发，按如下格式迭代 则至多迭代n步即收敛。 找共轭方向 取处的目标函数负梯度方向作为第一个搜索方向 然后沿着方向作一维搜索 由此得到一个新的点，并计算出相应的梯度方向 因为梯度方向和前一搜索方向在处正交 为了在和构成的正交系中寻求共轭方向，令 即，共轭方向为处的负梯度方向与前一个搜索方向的线性组合，这里的关键是选择使得和共轭。 对于正定二次函数有 于是得到如下关系 为与的线性组合 与共轭 二次正定函数与关系 从而 迭代步骤 1：给定起始点，梯度的模允许误差，维数n，最大迭代轮次MAXI，令k=1 2：检验是否满足收敛性判别准则 若满足，迭代停止，得到，否则转向3 3：令 4：求单变量极值问题的最优解 5：判断是否满足 若满足，迭代停止，得到，否则转向6 6：判断k=n是否成立。若成立，令，转向10；否则，转向7 7：检验是否满足收敛性准则 若满足，迭代停止，得到，否则转向8 8：计算 k=k+1 9：正定性检查 gb0， gb为与的内积 若满足，则转向4；否则，令转向10 10：判断迭代轮次J是否达到规定的最大值 若满足，则迭代停止，取，否则转向2 “再开始”：n步迭代后，为了避免舍入误差造成的不良后果，以加快收敛速度，由起始点出发，每进行n步迭代以后，如果不满足收敛性判别准则，再由重新开始，也就是进行n步以后的第一次迭代取负梯度方向。 “正定性检查”：即检查寻查方向与梯度方向的夹角是否为钝角，若不为钝角，则取负梯度方向重新开始迭代。 迭代框图 优点 迭代程序简单，储存量小。 缺点 较小时，计算可能会带来较大的舍入误差，甚至可能引起不稳定。 4.6：变度量法（DFP法及BFGS法） DFP法是由Davidon于1959年提出的，Flethei-Powell于1963年改进的一种算法。比共轭梯度法有更快的收敛速度，在高维问题求解中有着明显优势。 广义牛顿法 对二次严格凸函数 从初始点出发，沿着方向 沿着此方向搜索，只需要一次迭代可以直接得到最优解 广义牛顿法迭代公式 牛顿法中每次迭代都必须计算搜索方向 引进一组矩阵来替代 修正矩阵不断修正，每次迭代都能逼近。 DFP法中修正矩阵为 BFGS法中修正矩阵为 其中 一维搜索 迭代步骤 1：给定起始点，允许误差，维数n，最大迭代轮次MAXI，初始矩阵，令J=0 2：检验是否满足收敛性判别准则 若满足，迭代停止，得到，否则转向3 3：判断迭代轮次J是否达到规定的最大值 若满足，则迭代停止，取，否则转向4 4：令 k=1 5：令 当k=1时，转向7，否