零阶优化和一阶优化算法.docVIP

零阶优化和一阶优化算法 零阶优化方法和一阶优化方法通过对目标函数逼近或对目标函数加罚函数的方法将约束的优化问题转换为非约束的优化问题。两种算法的主要区别在于：零阶算法不利用一阶导数信息，一阶算法利用一阶导数信息；因此，一阶算法迭代一次所需要的时间大于零阶算法。 1零阶优化算法 零阶算法是在一定次数的抽样基础上,拟合设计变量、状态变量和目标函数的响应函数,从而寻求最优解,顾又可称其为子问题方法。函数曲线(或曲面)的形式可采用线性拟合、平方拟合或平方加交叉项拟合。若采用平方拟合,则目标函数的拟合公式为: 对于设计变量和状态变量的约束条件,可采用罚函数将其转化为无约束方程,如式(2),从而将带有约束的优化问题转化成无约束的最小值求解问题。 上式中,xi为设计变量,g^i、h^i、w^i为状态变量,X、G、H、W为对应的罚函数,其形式如式(3)所示。f0为目标函数的参考值,pk为响应面参数。当设计变量(或状态变量)接近限值时,其罚函数值将急剧增加,如图1所示。 转化为无约束问题后,即可采用序惯无约束极小化方法(SUMT)来搜索无约束目标函数。 2　一阶优化算法 一阶方法在优化过程中需要使用状态变量和目标函数对于设计变量的偏导数,因此被称为一阶方法。采用与零阶算法类似的方式,可将约束条件转化为罚函数,并将无约束目标函数分作目标函数和惩罚函数两部分,如式(5)所示。 对于第i步优化迭代,引入优化搜索方向d(j)，则下一步的设计变量值变为: 式中: sj为线搜索参数,对应于搜索方向d(j)上的最小步进值,它使用黄金分割比和局部的平方拟合技术来得到,其范围限制由式(8)给出: 式中: sj为最大可用步进值,而smax是设置的步进缩放尺寸, smax∈(0, 100]。 根据式(5),搜索方向dj可分为如式(9)所示的两部分,这两部分均可由Polak-Ribiere递推式[ 9]确定: 参考文献： [1]Tu W,Mayne R W.An approach to multi-start clustering for global optimization with non-linear constraints[J].International Journal for Numerical Methods in Engineering,2002,53:2253~2269. [2]Montgomery D C.Design and analysis of experiments [M].New York:John WileySons,1991. [3]Zheng Q,Zhuang D M.Integral global optimization:Algorithms,implementations and numerical tests[J].Journal of Global Optimization,1995,7:421~454.