无约束数值优化基础.pptxVIP

无约束数值优化基础

最优化问题最优化问题的数学定义A目标函数是光滑的变量可以是向量B

目标函数的光滑特性单击此处添加正文，文字是您思想的提炼，为了演示发布的良好效果，请言简意赅地阐述您的观点。且各阶导数连续且可微04单击此处添加正文，文字是您思想的提炼，为了演示发布的良好效果，请言简意赅地阐述您的观点。且函数可微03单击此处添加正文，文字是您思想的提炼，为了演示发布的良好效果，请言简意赅地阐述您的观点。首先函数是连续的02光滑函数是各阶可微的为了简单起见，我们考虑光滑函数，因为01单击此处添加正文，文字是您思想的提炼，为了演示发布的良好效果，请言简意赅地阐述您的观点。由于函数连续可微，提供了（不为垂直的）切线方向05

几个相关概念不连续函数连续函数但不可微连续可微函数但不光滑

向量变量一般情况下变量是用特征向量的形式表示向量如何求导PartialderivativeVectorvalue

数值最优化没有闭式解单击此处添加正文，文字是您思想的提炼，为了演示发布的良好效果，请言简意赅地阐述您的观点。01函数信息昂贵变量个数小，但函数计算复杂变量个数巨大02思路从某点出发根据局部信息，作一些迭代判断是否达到了解03

解为什么我们要定义一个函数的解？全局极值在整个变量域，难找，也不必要局部极值某个开区间，容易找，通常情况下称为解特殊的局部极值严格局部极小值孤立局部极小值

单击此处添加小标题严格局部极小值都是孤立局部极小值单击此处添加小标题严格局部极小值不都是孤立局部极小值单击此处添加小标题孤立局部极小值都是严格局部极小值单击此处添加小标题孤立局部极小值不都是严格局部极小值课堂测试（1）以下哪些说法是对的

如何判断一个局部极值必要条件充分条件在f(x)是二阶连续可微的情况下，x*是局部极值

算法(1)数值最优化算法的基本思想从给定的x0出发产生一系列的x1,x2,x3…xK当收敛条件达到时结束算法单调性要求：f(x1)f(x2)f(x3)…两种策略Linesearch线搜索选择一个方向，再选择步长Trustregion信赖域定一个范围，根据这个区域内的近似模型选择方向

算法（2）Choosea,x0,While(notconvergent)dochooseak,pkxk+1=xk+akpkk=k+1endtmp0=xk,0+akpk,0tmp1=xk,1+akpk,1tmp2=xk,2+akpk,2…tmpi=xk,i+akpk,itmpN=xk,N+akpk,Nxk,0=tmp0….xk,N=tmpNLinesearch:先确定pk,再确定akTrustregion:先确定ak最大范围r，在确定pk最后确定真正使用的ak

两种策略

线搜索方法选择一个函数值下降的方向最速下降Newton法Quasi-Newton法步长足够小使下一次函数值有效减小足够大能较快收敛

Linesearch:方向的选择(1)明显的一个选择：梯度最速下降Downhilldirection优点：计算简便缺点：对于复杂问题收敛速度慢对归一化敏感

Newton方法Cholesky分解:B=LDLTForj=1,2,…,n,docjj=ajj-Σs=1,toj-1dsl2jsdj=cjjFori=j+1,…n,docij=aij-Σs=1toj-1dslisljslij=cij/djendend目标：迭代至极值初始点x0Fork=0,1,2,…do找到正定矩阵Bk解Bkpk=-Δf(xk)xk+1=xk+akpkEnd目标:使D元素均为正，且L,D中元素不太大dj==max(|cjj|,(maxji=n|cij|/b)2,e)

Quasi-Newton法思想：找一个Hessian矩阵的近似并根据每一轮的新信息进行有效更新BFGS：近似矩阵是对称的，且Bk与Bk+1的差为秩=2的矩阵

课堂测试（2）如果函数形式为则在最速下降中，最好的步长ak为?思考：最速下降、牛顿法，Quasi-Newton法的优缺点是什么？

Linesearch：步长的选择（1）希望的目标实际上目标函数有效减少寻找合适步长的计算代价不太高

Linesearch：步长的选择（2）

Linesearch：步长的选择Sufficientdecrease:ArmijoconditionNottoosmall:curvatureconditionWolfeCondition初始化a0,p1,c重复Backtracking算法单击此处添加正文，文字是您思想的提炼，为了演示发布的良好