(最优化作业.docxVIP

[键入公司名称]一题目要求： 1.分别用①牛顿法和②变尺度法求解优化问题min f(x)=x^2-2*x*y+4*y^2+x-3*y2.利用①外点法和②内点法解下列约束问题min f(x)=(x-3)^3+(y-2)^2s.t. h(x)=x1+x2-4≤0 二基本思想牛顿法：应用基本迭代公式Xk+1=Xk+tkPk中，每轮迭代在迭代的起始点XK处用一个适当的二次函数来近似该点处的目标函数，由此用点XK指向近似二次函数极小点的方向来构造搜索方向Pk. 设是二次可微实函数，，Hesse矩阵正定。在附近用二次Taylor展开近似，，为的二次近似。将上式右边极小化，便得：， 这就是牛顿法的迭代公式。在这个公式里，步长因子。令，则上式也可写成：显然，牛顿法也可以看成在椭球范数下的最速下降法。 事实上，对于，是极小化问题 的解。该极小化问题依赖于所取的范数，当采取范数时，，所得方法为最速下降法。当采用椭球范数时，，所得方法即为牛顿法。对于正定二次函数，牛顿法一步即可达到最优解。而对于非二次函数，牛顿法并不能保证有限次迭代求得最优解，但由于目标函数在极小点附近近似于二次函数，故当初始点靠近极小点时，牛顿法的收敛速度一般是快的。牛顿法收敛定理： 设，充分靠近，，如果正定，且Hesse矩阵满足Lipschitz条件，即存在，使得对所有i,j，有：，其中是Hesse矩阵的元素，则对一切k，牛顿迭代公式有意义，且所得序列收敛到，并且具有二阶收敛速度。在实际求解中，当初始点远离最优解时，Hesse矩阵不一定正定。牛顿方向不一定是下降方向，其收敛性不能保证。这说明恒取步长因子为1的牛顿法是不合适的，应该在牛顿法中采用某种一维搜索来确定步长因子。但是应该强调，仅当步长因子收敛到1时，牛顿法才是二阶收敛的。这时牛顿法的迭代公式为：，其中是一维搜索产生的步长因子。迭代步骤：（1）目标函数f（X）=X12-2*X1*X2+4*X22+X1-3*X2 g(X),Hesse矩阵G（X），终止限ε。（2）计算GK=▽2f(Xk).(3)由方程GkPk=-gk解出Pk.(4)计算Xk+1=Xk+Pk,,fk+1=f(Xk+1),gk+1=g(Xk+1).(5)判别终止准则是否满足：若满足，则打任最优解（Xk+1,fk+1）结束；否则，置k=k+1，转（2）.变尺度法（dfp）： DFP 校正是第一个拟牛顿校正, 是1959 年由Davidon 提出的, 后经Fletcher和Powell 解释和改进, 故名之为DFP 算法, 它也是求解无约束优化问题最有效的算法之一. 类似于BFGS 校正公式的推导, 可得DFP 校正公式如下?变尺度法所构成的迭代公式为：——（3）?式中为最优步长因子，由一维搜索而得。迭代步骤（1）给定参数∈ (0, 1), ∈ (0, 0.5), 初始点x0 ∈ , 终止误差0 ≤ ? 1.初始对称正定阵H0 (通常取为G(x0)?1 或单位阵In). 令k := 0.(2)计算= ?f(). 若‖‖ ≤, 停算, 输出 ≈作为近似极小点.(3)计算搜索方向:(4)设m 是满足下列不等式的最小非负整数m:确定(5)令k:= k+ 1, 转步1.外点法构造一函数为：，其中：.在此式中又称为惩罚函数，是一个逐渐增大的参数，称为惩罚因子.又称为问题的增广目标函数. 增广目标函数是定义在上的无约束函数；当时的最小值是我们感兴趣的最优解. 当时的最小值是无意义的，为此我们规定当时在X处的函数值迅速变大. 换句话说，可行域D外的任一点函数值都相当大. 此时要求在的最优解只能回到D内才有可能.然而一旦X回到D内的解就与元求解问题有相同的解. 迭代步骤给定终止限（可取=）.选定初始点，惩罚因子（可取）. 惩罚因子放大系数，置.假设已获得迭代点，以为初始点，求解无约束问题. 设其最优点为. 若则就是所要求的最优解，打印输出，结束； 否则转至过程（4）. 置转至过程（2）. 内点法基本原理首先在D的边界设置一道障碍，当从可行域D中的某点出发并进行迭代时，每当迭代点靠近D的边界时，便被此边界上的障碍（形如绝壁）阻挡碰回，这种阻挡实质上也是一种惩罚，换句话说所谓阻挡碰回就是当迭代点靠近D的边界时，离边界越近函数值增加越大，特别当迭代点到达边界上时（还算是在可行域内），函数值变为无穷大. 由此可以想象不可能在靠近D的边界上取得最优解，只能在远离D的边界内找到最优解. 对于如上面的外点法求解的约束优化问题，现构造如下增广目标函数其中，称为障碍因子，称为障碍函数. 当障碍因子在逐渐减小时有且迭代步骤：(1) 给定允许误差，取；(2) 求出约束集合D的一个内点，令；(3) 以为初始点，求解，其中的最优解，设为；(4) 检验是否满足或，满 足，停止迭代，；否则取，令，返回三