2026《一种内点信赖域方法用于求解可分离约束问题分析》2500字.docxVIP

一种内点信赖域方法用于求解可分离约束问题分析

目录

TOC\o1-3\h\u29871一种内点信赖域方法用于求解可分离约束问题分析 1

128061.1预备知识 1

323531.2交替结构的内点信赖域算法 2

245411.3算法收敛性证明 7

1.1预备知识

本章考虑的可分离优化问题如下：

2-(1)

其中和是二次连续可微实值光滑函数，是一般约束，集合为闭集。

问题2-(1)在图像处理，机器学习，交通规划等领域有着极其广泛的应用，为解决该类问题算法的研究提供了广阔的应用空间，也激起了广大最优化研究者对问题2-(1)设计算法的浓厚兴趣。当是凸函数时，已经有了比较成熟的理论分析。在这些方法中，交替方向法是解决非线性可分离约束优化问题的有效算法。

交替方向法在机器学习和图像制作等诸多方面有着广泛的应用。实际上,交替方向法在这些领域具有良好的数值性能,是因为交替方向法的子问题有其自身的特点。交替方向法的起源最早是由Gabay、Mercher和Glowinski在20世纪70年代提出的，类似的思想起源于20世纪50年代。很多文章对这种方法进行了深入的研究，但之前交替方向法主要用来处理偏微分方程问题，目前交替方向法则主要用于求解变量可分离的凸优化问题

2-(2)

优化问题中，为凸函数，，。模型问题2-(2)的增广Lagrange函数为

，2-(3)

其中Lagrange乘子，罚参数。增广Lagrange算法极小化问题2-(3)的迭代公式满足

经典增广Lagrange算法将问题2-(2)看作是一般的极小化问题，没有考虑它的变量可分离形式。经典增广Lagrange算法同时极小化增广Lagrange函数2-(3)中的变量和，而交替方向法则不同，它从目标函数的变量可分离形式出发，对变量和求极小，迭代过程为

其中初始变量和可随意选取。

新的信号采样理论—压缩感知在二十一世纪初期由Candes等人提出，交替方向法重新焕发了活力。然而交替方向法目前主要用于解决凸问题，对于非凸问题的研究较少，所以本章打算对模型问题2-(1)中当目标函数对凸性没有要求时进行研究。

1.2交替结构的内点信赖域算法

目标函数定义为，函数的第次迭代，定义模型为，假设是可行域，。这个模型既包含在可行域中，又包含在信赖域里。

其中

，

，

，

，

是信赖域半径。

我们考虑如下二次模型

其中，是试探步，，，是的海塞阵或其近似，所以可以看作。

类似于经典的内点法，我们考虑了对数障碍问题

2-(4)

其中是障碍参数，为松弛变量。

下面我们就可以导出松弛变量的表达式。首先，我们定义对数障碍问题的拉格朗日函数

2-(5)

其中是正纯量，是向量。通过的最优性条件，可以导出松弛变量的表达式

2-(6)

如果我们令，我们有

2-(7)

接下来，对数障碍问题的等价系统被提出，这个等价系统的解近似于原优化问题的KKT解，对数障碍问题的等价系统可以写成以下形式

2-(8)

交替方向法被用来处理拉格朗日函数模型中的迭代变量和，然后内点信赖域子问题被提出，可以用来求解迭代步。通过求解以下两个内点信赖域子问题，我们可以得到迭代步和。子问题形式如下

2-(9)

2-(10)

其中是Fritz-john函数关于和的海塞阵，是关于和的梯度。

因此

2-(11)

2-(12)

2-(13)

2-(14)

为了保证下降性，需满足以下条件

2-(15)

2-(16)

其中，，，。以