一维优化问题的求点结果.docxVIP

一维优化问题的求点结果 摘要：在优化方法学科当中，拟合法均具有有效的寻优效果。提出了常数拟合二阶偏导数矩阵法。基于目标函数的单峰假设，在当前点处，由目标函数的梯度和二阶偏导数矩阵拟合具有常数二阶偏导数矩阵的函数。令该函数的极值点为新点继续寻优，直到相邻2个新点足够接近为止。推导了新点的计算公式，给出了寻优步骤和程序流程图。新算法与高次多维二阶近似式拟合函数定点法（经典的多维牛顿法）的求点结果相同，但是基本理念、出发点和算法不同，其计算量更小，也不会因矩阵不可逆而计算失败。二维Rosenbrock函数的算例验证了其寻优有效性。将新算法用于一维优化问题，则可称为常数拟合二阶导数定点法。沿当前点指向新点的方向进行一维寻优，则可称为常数二阶偏导数矩阵方向法。 优化问题存在于各个研究领域，优化方法曾经以不须计算目标函数梯度为优势拟合函数类优化方法曾经是理论性最强的一维优化方法，文献1 多维拟合类优化方法的研究现状1.1 多维二次拟合函数法在设计空间（由各设计变量为正交坐标轴而构成的N维实空间）当中，利用多个点的目标函数值构造目标函数的二次拟合函数，以该拟合函数的极值点为新点，舍弃一个旧点之后重复以上算法，直到相邻2个极值点足够接近为止。文献其中：G、b的元素及c为待定系数。对于二维优化问题，如果令G为对角阵，则有5个待定系数。由5个点在设计空间当中的坐标（对应于1组设计变量的值）及其目标函数值可根据式（1）获得待定系数的线性方程组。求解该方程组，可确定该拟合函数。根据极值条件，式（1）的极值点满足方程组式（2）为解耦的线性方程组（每个方程只有1个未知数），极值点易求。对于二维优化问题，如果令G为实对称阵，则有6个待定系数，须6个点求解。式（2）为一般的线性方程组，可由多种数值方法求解。1.2 高次多维二阶近似式拟合函数定点法该方法属于经典的优化方法，称为多维牛顿法式（3）的极值点x则x与二次拟合函数法不同的是，以x1.3 线性拟合梯度法设目标函数一阶可导，则目标函数的拟合梯度为式（1）梯度的格式其中：G、b的元素为待定系数。式（1）可称为式（6）的等价拟合函数。一个点可由式（6）获得N个方程。若初始点组所得方程数大于待定系数时，可采用最小二乘法求得待定系数，则方程组为其中：A、B分别为原方程组的系数矩阵和常数列阵。2个点的目标函数值之差可作为2点处的等价拟合函数值之差，从而获得一个新的方程。使式（6）等于零向量的点为等价拟合函数的极值点。将极值点作为新点，重复上述算法，直到新点的梯度足够接近于零向量为止。2 常数拟合二阶偏导数矩阵法根据目标函数的拟合函数可形成新的优化方法，根据目标函数梯度的拟合向量也可形成新的优化方法，根据目标函数二阶偏导数矩阵的拟合矩阵也能形成新的优化方法。2.1 寻优思想设拟合函数的二阶偏导数矩阵为其中：G的元素为待定系数。式（1）称为式（8）的等价拟合函数，式（6）称为式（8）的等价拟合梯度。如果目标函数二阶可导，则一个点可由式（8）获得拟合二阶偏导数矩阵，同时可由等价拟合梯度获得一次项列阵b。根据式（2）列出的极值点条件，极值点的方程组可求得其中：高次多维二阶近似式定点法的一次迭代需要计算1个点的梯度、二阶偏导数矩阵、1个矩阵求逆、矩阵乘加运算。而新算法一次迭代不需要矩阵求逆，只需要一个线性方程组求解。二者虽然计算结果相同，但是新算法具有更强的适用性：(1）如果矩阵奇异（行列式为零），则逆阵不可求。如果系数矩阵奇异，已有多个算法获得较好的解。(2）虽然目前矩阵求逆的计算程序简单，但是其理论上的计算量远远大于求线性方程组。如果沿当前点指向新点的方向进行一维寻优，则寻找效果与多维二阶近似式方向法2.2 寻优步骤根据寻优思想，新算法的寻优步骤可表述为：(1）给定初始点x(2）计算(4）计算(5）求解方程组式（9);(7）令k=k+1，转步骤（2）。2.3 程序流程根据寻优步骤，设计新算法的程序流程如图1所示。2.4 相应的一维优化方法采用新算法的寻优思想，也可求解一维优化问题。该方法称为常数拟合二阶导数法，其寻优步骤和程序流程图与上述相似。与x由于在x由方程组（11）可求得待定系数a式（9）的推导过程与式（12）的类似。2.5 在学科理论体系中的位置目前，优化方法学科的理论体系如图2所示，其中宋体字为经典方法，主要是2000年之前形成的；黑体字为2000年之后提出的方法；粗黑体和黑框表示该研究提出的新算法。3 算例验证3.1 二次三维无约束优化问题研究如下二次三维无约束优化问题：其目标函数的梯度为根据极值点