一种新的梯度路径在无约束优化中的应用.docxVIP

本文的创新点 在无约束最优化大规模问题的求解中， 丁Hessian阵的求解有困难，故影响了丈规模计算。本文从理论和数值试验两个角度研究了将处理过的Hessian阵及非单调技术结合到线搜索方法和信赖域方法中的相关论题。 本文的主要工作分为两部分 枉第一部分，利用文献【2】对Hessian阵进行近似处理，运用到文献【?】中形成一种新的梯度路径，并将此路径与非单调技术结合得到一种新的算法，此算法可以计算大规模问题，而非单调技术放宽了接受迭代点的条件。这种新的梯度路径算法是容易应用的。我们分析了这种算法的收敛性。数值结果表明这种算法是有效的。 第二部分的工作主要是将这种新的梯度路径与非单调技术结台到信赖域方法中，我们汪明了其收敛性。 ln 第1章 引言 最优化是一门应用性很强、_f分活跃的学科，因为最优化问题，“泛见r经济 计划、工程设汁、生产管理，交通运输、国防等重要领域。最优化问题的。‘般形 式可表达成 s．t． G(z)=0．i∈占 (1．1) 岛(o)2 0， i∈Z 其中，，Q部是变量z的数量函数，E．z是指标集，￡的模吲=m，，z的模12-I=mi，并记m=m。+m。。 根据(1．1)中函数的具体性质和复杂程度，最优化问题又有许多不同的类 型，根据是否有约束函数分为无约束最优化和约束最优化；根据决策变量z的取 值是离散的还足连续的分为离散最优化和连续最优化；连续最优化罩又根据函数 的可微性分为光滑最优化和非光滑最优化；等等。本文中，我们主要考虑无约束 最优化。 §1．1解优化问题的基本方法 解最优化问题的两类基本算法策略是线搜索方法和信赖域方法。本文讨论了 无约束优化，现以无约束优化问题 rninimizef(z) (1．2) 为例来说明之。 在线搜索策略中，在每步迭代点z女处，算法需要确定 个搜索方向Pk和沿 此方向的搜索步长Ozk，从而迭代过程就可以表达成 Xk+l=z詹十Qbp＆ 1 第1章引言 2 绝大多数线搜索算法要求P≈是‘个下降方向，即尸fV^0，以此傈1疰函 数值，可沿此方向下降。很多文章给出了不同的办法来求既，如牛顿法(【281 【181)，拟牛顿法([151116])，欠扼梯度法(【11】110】f12】【25】【26】)，其中最简明的办法无疑是最速下降法m=一VA． 步长dk可以通过求解下面的～维极小化问题来得到 (1．3) 若是精确求解(1．3)，可以最大限度地发挥下降方向的作用，但是精确解通常是昂 贵的，故没有必要采用此类方法。因此人们通常满足丁二获得(1．3)足够好的近似解，这一类方法通常成为不精确线搜索方法。 针对不精确线搜索步长，人们提出了多种规则，其中较为著名的有Armigo准则，Wolf准则，Goldstein准则。 信赖域方法的基本思想{‘分形象。在迭代点附近的小区域(信赖域)内用一个相对简易的模型来近似原问题，若模型与原问题吻合度好，则迭代步前进，否则，缩小信赖域半径。信赖域方法中，方向和步长是同时确定的。文献【19】给出了与我们今天所用的信赖域框架非常相似的算法形式。在【30】f32】的提倡下，信赖域方法突飞猛进地发展起来，见文献【291135118][34]。而信赖域这个々片j名词是在文献【14】中绘出的。 一个信赖域算法是山框架和求解信赖域子问题两部分组成的。求解信赖域子问题是信赖域算法成功的关键之一。 §1．2曲线搜索 梯度路径最仞出现在文献【31，通过解微分方程得到曲线 -y=(e““一1)甄1蟊 接下来文献【5】将此曲线路径用●：信赖域方法中去，并给出了算法及收敛性证 明。文献[43】将非单调技术与曲线路径结合到信赖域方法中，而文献[44】用BP 第1章引言 3 分解(【4】)对目标函数中的Hessian阵进行了处理，减少了计算蕈。文献f50】在 【44】的基础上尉曲线中的Hessian阵进行了BP分解，从而提蘸了效率。 §1．3非单调技术 用迭代法解优化问题时，总是要求新的迭代点比以前的迭代点有所改进。即在解(1．2)时的直接体现就是要求 _厂(z女+1)≤，(r≈)，k=1．2 满足这样要求的算法，我们称之为单调类算法。非单调技术是要求新迭代点在前面数步迭代的基础上有改进，其典型形式就是要求 f(xk+1)≤oID，．ax^f，(。*一J)， 其中M是大于零的常数。这样的算法就称之为非单调算法，其实质是把单步下降要求放松为多步下降，从而可把非单凋技术看是对算法框架的一种改进。 一般地，人们认为非单调算法的起源丁【7】中针对一类约束优化方法的ⅥnrⅡ￡ns效应(【271)提出的WfltchDog技术。从八f‘年代中期开始，G，_ippo等人对线搜索框架下的非单调技术做了系统的研究(【201122】【23】【241)，极大地推动了非单调技术研究工作地开展。 随后研究者