一种新的梯度路径在无约束优化中的应用.pdfVIP

本文的创新点 在无约束最优化大规模问题的求解中，…丁Hessian阵的求解有困难，故影 响了丈规模计算。本文从理论和数值试验两个角度研究了将处理过的Hessian阵 及非单调技术结合到线搜索方法和信赖域方法中的相关论题。 本文的主要工作分为两部分 枉第一部分，利用文献【2】对Hessian阵进行近似处理，运用到文献【?】中 形成一种新的梯度路径，并将此路径与非单调技术结合得到一种新的算法，此算 法可以计算大规模问题，而非单调技术放宽了接受迭代点的条件。这种新的梯度 路径算法是容易应用的。我们分析了这种算法的收敛性。数值结果表明这种算法 是有效的。 第二部分的工作主要是将这种新的梯度路径与非单调技术结台到信赖域方法 中，我们汪明了其收敛性。 ln 第1章 引言 最优化是一门应用性很强、_f分活跃的学科，因为最优化问题，“泛见r经济 计划、工程设汁、生产管理，交通运输、国防等重要领域。最优化问题的。‘般形 式可表达成 s．t． G(z)=0．i∈占 (1．1) i∈Z 岛(o)20， ， 其中，，Q部是变量z的数量函数，E．z是指标集，￡的模吲=m，，z的模 12-I=mi，并记m=m。+m。。 根据(1．1)中函数的具体性质和复杂程度，最优化问题又有许多不同的类 型，根据是否有约束函数分为无约束最优化和约束最优化；根据决策变量z的取 值是离散的还足连续的分为离散最优化和连续最优化；连续最优化罩又根据函数 的可微性分为光滑最优化和非光滑最优化；等等。本文中，我们主要考虑无约束 最优化。 §1．1解优化问题的基本方法 解最优化问题的两类基本算法策略是线搜索方法和信赖域方法。本文讨论了 无约束优化，现以无约束优化问题 rninimizef(z) (1．2) 为例来说明之。 在线搜索策略中，在每步迭代点z女处，算法需要确定…个搜索方向Pk和沿 此方向的搜索步长Ozk，从而迭代过程就可以表达成 Xk+l=z詹十Qbp＆ 1 第1章引言 2 绝大多数线搜索算法要求P≈是‘个下降方向，即尸fV^0，以此傈1疰函 数值，可沿此方向下降。很多文章给出了不同的办法来求既，如牛顿法(【281 的办法无疑是最速下降法m=一VA． 步长dk可以通过求解下面的～维极小化问题来得到 (1．3) 若是精确求解(1．3)，可以最大限度地发挥下降方向的作用，但是精确解通常是昂 贵的，故没有必要采用此类方法。因此人们通常满足丁二获得(1．3)足够好的近似 解，这一类方法通常成为不精确线搜索方法。 针对不精确线搜索步长，人们提出了多种规则，其中较为著名的有Armigo 准则，Wolf准则，Goldstein准则。 信赖域方法的基本思想{‘分形象。在迭代点附近的小区域(信赖域)内用一 个相对简易的模型来近似原问题，若模型与原问题吻合度好，则迭代步前进，否 则，缩小信赖域半径。信赖域方法中，方向和步长是同时确定的。文献【19】给出 了与我们今天所用的信赖域框架非常相似的算法形式。在【30】f32】的提倡下，信 赖域方法突飞猛进地发展起来，见文献【291135118][34]。而信赖域这个々片j名词是 在文献【14】中绘出的。 一个信赖域算法是山框架和求解信赖域子问题两部分组成的。求解信赖域子 问题是信赖域算法成功的关键之一。 §1．2曲线搜索 梯度路径最仞出现在文献【31，通过解微分方程得到曲线 -y=(e““一1)甄1蟊 接下来文献【5】将此曲线路径用●：信赖域方法中去，并给出了算法及收敛性证 明。文献[43】将非