共轭梯度法的改进与应用.pdfVIP

声尸I刃明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 研究生签名： 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名：复型庄羞 硕士论文 共轭梯度法的改进及应用 1绪论 1．1引言 最优化问题的一般形式为： 卿厂(x) (1·1) 其中x∈Z是决策变量，f(x)为目标函数，Z∈R”为可行域或约束集。 约束最优化问题的形式为： rnin f(x)‘ jE^ J，‘(x)=O，f∈E， q(x)≥0，f∈I， 这里E和，分别是等式约束和不等式约束的指标集。q(x)是约束函数。当目标函 数和约束函数均为线性函数时，问题称为线性规划；当目标函数和约束函数中至 少有一个变量x是非线性函数时，问题称为非线性规划。 如果约束集Z=R”，则最优化问题(1．1)称为无约束优化问题： m，。Rin。f(x)Je^’ 无约束优化问题是最优化问题的基础。下面我们先介绍几种常用的线性搜索 方法，然后简要介绍几种最优化方法：牛顿法、拟牛顿法、最速下降法、共轭梯 度法。 1．2几种常用的线性搜索方法 1．精确线性搜索 一维搜索方法的优劣及收敛的快慢直接影响到最优化算法的收敛速度，最理 想的情况是确定步长％使目标函数f(x)下降尽可能的大，也就是要求步长％满 足 (1．2) f(xk+at喀)2嘧f(xk+a反) 式(1．2)可以通过一元函数e(a)=f(xk+口畋)的极小化 9(口) (1·3) n拙'1iin l绪论 硕士论文 来求得最优步长。 由于这种搜索方法以取得最佳步长为目的，因此称它为精确线性搜索，所得 到的步长口。称为最佳步长或者最优步长。在精确线性搜索中，仅。是妒(a)的精确 极小点。但是实际上，除了．厂(x)是二次函数的特殊情况外，这是不可能实现的。 而且使用精确线性搜索的计算量非常大，特别是当迭代点远离问题的解时。所以 我们在实际中常常使用非精确线性搜索。常用的非精确线性搜索有以下几种： 2．戈德史丹(Goldstein)准则 给定P，仃，0<∥<d<1，选取a}>0满足 (1．4) 0<一JLl吒g(&)T畋≤八xk)-f(xk+％以)<--xra女g(矗)T以 等价于下面两个不等式： f(xk+Orkd℃、)<f(xk)+pot℃g(xk)1dt (1．5) f(xk+仅々吨)>f(xk)+aa女g(xk)T以 (1．6)