Wolfe非精确搜索+BFGS讲解.doc

数学与计算科学学院 实 验 报 告 实验项目名称 Wolfe非精确搜索+BFGS 所属课程名称 最优化方法 实 验 类 型 算法编程 实 验 日 期 2015.11.13 班 级 信计1201班 学 号 姓 名 成 绩 一、实验概述： 【实验目的】 通过上机实验掌握最优化的实用算法的结构及性能，并用这些算法解决实际的最优化问题，掌握一些实用的编程技巧。 了解Wolfe非精确搜索+BFGS的原理及时间效率等优点。 【实验原理】 1. 拟牛顿法（BFGS） BFGS(Broyden–Fletcher–Goldfarb–Shanno)的算法流程如下： 初始化：初始点x0以及近似逆Hessian矩阵B?10。通常，B0=I,既为单位矩阵。 计算线搜索方向：pk=?B?1k?f(xk) 用”Backtracking line search“算法沿搜索方向找到下一个迭代点：xk+1=xk+αkpk 根据Armijo–Goldstein?准则，判断是否停止。 计算xk+1=xk+αkpk; 以及?yk=?f(xk+1)??f(xk) 迭代近似逆Hessian矩阵： B?1k+1=(I?skyTkyTksk)B?1k(I?yksTkyTksk)+sksTkyTksk 上式5中的推到方法比较复杂，有兴趣的可以搜一下相关文献。 2.非精确线搜索wolfe算法 【实验环境】 Winows7.0，matalb 二、实验内容： 【实验方案】 for i=1:nn %%%1-nn函数依次进入运算 (1)初值准备 nprob=numer(i); [n,m,xk,filename]=initf(nprob);%%%%%%%% 读初始数据 xk=factor*xk; bk=eye(n); k=0; tic; %计时开始 fk=objfcn(n,m,xk,nprob); fnum=1; gk=grdfcn(n,m,xk,nprob); gnum=1; delta=norm(gk,2); (2)迭代开始 while k1000 %%%%%%%%%迭代上限1000 if delta=teminate %% break; Else (3)确定下降方向 dk=-linsolve(bk+muk*eye(n),gk);%%%%求解下降方向 gk1=gk;fk1=fk;gkdk=gk*dk; if gk*dk=-1.0e-14%当dk不是充分下降时采用负梯度为搜索方向 dk=-gk; end (4)确定步长 %%%%%%%%%%%%%%%%%%%%%%%%%%%%利用Wolfe-Powell搜索计算步长 [alphak,fk,gk,wfnum,wgnum]=wolfe2(n,m,xk,dk,fk1,gk1,nprob); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%利用Wolfe-Powell搜索计算步长 (5)计算 fnum=fnum+wfnum; gnum=gnum+wgnum; xk1=xk;xk=xk1+alphak*dk; fk=objfcn(n,m,xk,nprob); gk=grdfcn(n,m,xk,nprob); if norm(gk,2)=teminate k=k+1; break; end (6)由BFGS修正公式得 %%%%%%%%%%%%%%%%% Bk update sk=xk-xk1;bks2=sk*bk*sk;yk=gk-gk1; yksk=yk*sk; if yksk0 bks1=bk*sk*sk*bk; yks=yk*yk/yksk;bk1=bk; bk=bk1-bk1*sk*sk*bk1/(sk*bk1*sk)+yk*yk/(yk*sk); end end k=k+1; End (7)无约束问题运算结束后记录所花费时间 time=t