一类新的非单调信赖域方法.docx

耋皇查兰竺圭兰竺兰塞f!丝耋2 三耋堑丝斐兰望篁垫兰童量1 第一章绪论 1．1无约束优化问题及最优性条件 无约束优化问题是在整个舻上求船函数的极值点，可写为 mha{f(x)I z∈舻l， ’(1．1) 其中f(x)是定义在舻上的实值非线性函数．本文假设f(x)二次连续可微． 下面我们给出极小点的定义． 定义1．1若存在60，矿∈渺，V$∈舻，使当忪一矿8d时，恒有，0)≥，p’)，则 称矿为，(功的局部极小点．若对z∈gp，使当0nz一矿1l6时，恒有，(z)，0’)，则称矿为，p)的严格局部极小点． 定义1．2若对所有的z∈舻，I(x)≥f(x’)，则称矿为，(z)的总体极小点．若对所有的 z≠矿和善∈乳4，，(。)f(x+)，则称矿为，0)的严格总体极小点． 一般来说，求总体极小点是一个很困难的任务。通常的算法只能求得满足一定条件 (最优性条件)的点．常用的最优性条件如下。 定理1．1【4(一阶必要条f牛)设f(x)：D∈舻_÷R在开集D上连续可微，若矿∈D是 (1．1)的局部极小点。则 9(矿)=0． 定理1．2[11(二阶必要条件)设f(x)：D∈舻_+R在开集D上二次连续可微，若矿∈D 是(1．1)的局部极小点，贝q g(x‘)=0，V2f(w’)≥0． 定理1．3【J】(二阶充分条件)设，(功：D∈舻-÷R在开集．D上=次连续可微，则矿∈D 是，的一个严格局部极小点的充分条件是； F(矿)=0且V2f(x+)是正定矩阵． 1．2信籁域方法的基本形式 目前，用来求解馋化同题的数值方法通常采用迭代方法，其基本思想是：给定一个 初始点zo∈舻，按照某一迭代规则产生一个点列{。t}，使得当{z女}是有穷点列时，其 最后一个点是优化模型问题的最优解．当{鲰)是无穷点列时，它有极限点，且其极限点 是优化模型问题的最优解． 迄今为止，解决无约束优化问题的两类主要的数值方法是线搜索方法和信赖域方法． 线搜索方法是一种传统的方法，其基本思想是；在第k次迭代时，产生搜索方向呶，然后沿搜索方向进行精确的或不精确的一维搜索，以得到步长吼，从而得到下一个迭代点孤+1=zt+Olk以．搜索方向一般选为使目标函数下降的方向，常用的产生搜索方向的方法有：最速下降法，牛顿法，拟牛顿法，共轭梯度法等．常用的不精确一维线搜索有： Armijo线搜索，Armijo—Goldstein线搜索，Wolfe—Powell线搜索等． 自二十世纪七十年代以来，倍赖域方法因其新颖性，可靠性，有效性以及很强的收敛性吸引了非线性优化研究界许多学者的重视．它的基本思想是，在第k次迭代时。已有迭代点瓢，给出一个信赖域半径A^0，在“处以△々为半径的区域内构造一个与目标函数近似的二次模型(信赖域子问题)，然后对此模型求解得试探步也，若zk+靠能使目标函数值有充分的下降，刚此试探步可行，下一个迭代点茁≈+1取做‰+如；否则说明 二次模型与目标函数的近似程度不够好。需要缩小△-重新求解二次模型． 对无约柬优化问题(1．1)，利用二次逼近。可构造信赖域子问题如下· 勰也(d)=ffa+idrB≈d (1·2) s．t．悯f≤Ak， (1．3) 其中△j是信赖域半径．这里的川I可以利用2-范数，OO-范数，也可以利用G．范数或者 其它范数．解子问题(1 2)-(1．3)得到试探步也，计算目标函数的实际下降量^一，(zt+靠)和预测下降量机(o)一机(d々)的比值t m=诹h--矿f(x葡k+玎dk)． j (1．4) 根据这一比值决定是否接受试探步以及如何调节信赖域半径． 下面给出无约束优化信赖域方法的一般形式随 算法1．1瑚 步1．给出zl∈舻，B1∈舻黼，△10，E≥0，0 S匈≤c21，0e3c41C1．令 ％=i．， 步2．计算鲰．如果0甄《≤岛则停；求解(1．2)-(1．3)得到靠。 !兰：叁兰丝圭兰竺竺塞堡窒堕耋! =耋堑竺矍兰堡垒叁矍童童 3 步3．用公式(1。4)计算m．令 一 ‘～蟛辚蟛撬 zt+-2{：：Iot+’+以， 莩否则翥．．m≤c0； c·、却1 选取Ak+l使其满足 蛳{：黜勰芸砣％ ∽e， 步4·产生Bk+x；^=☆+1，转步2． 在算法中，常数q(i=0，．．．，4)是由用户选择的参数，选取可参阅文献【3_51． 由算法1．1可知，信赖域算法的主要计算在于求解子问题(1．2)一(1．3)．下面给出关于 子问题解的几个定理． 定理1．4明设9∈舻，A0和B∈舻“对称，则扩∈敬n是问题。 罂杂妒(d)29rd+2drBd (1．7) 。-￡·IlalJ≤A (1．8) 之解的充分必要条件是存在唯一的S 0使得 (B+A+刀)矿=-9， IlalJSA，A‘(△一Ila11)=0， 且(B+”F)是半正定矩阵．  定理1．5埘设aTM是问题