2010不可微最优化问题的随机增量次梯度方法.pdfVIP

2010年第2期 牡丹江师范学院学报(自然科学版) No．2，2010 (总第71期) Journalof Normal TotalNo71 MudanjiangUniversity 不可微最优化问题的随机增量次梯度方法 张 鹏 (孛f=丹江师范学院数学系。黑龙江牡丹江157012) 摘 要：在Hilbert空间中不可微最优化问题的增量次梯度方法收敛性的基础上，研究随机的增量次梯度 方法，这种方法每次迭代过程中，子迭代的搜索方向是随机给出的．本文主要研究的是具有缩减步 长的随机增量次梯度方法的收敛性。证明这种方法产生的迭代点列拟Fejer收敛；迭代点列所对应 的函数列收敛以及迭代点列弱收敛到某种形式的最优解集． 关键词：随机增量次梯度方法；拟Fej∈r收敛；不可微最优化问题 [中图分类号]()141．3[文献标识码]A [文章编号]1003—6180(2010)02—0003一02 本文考虑最优化问题 并且取{￡t}是满足￡t≤肚at的非增非负实数点列， m．n／(z)一蚤^(n (1) 其中皿0．为了方便下面的证明，定义 其中z∈C，C是Hilbert空间H上的一个闭凸子 矗c一善^，(蛾叱小zⅢ_叱扎t一嚣91．t， 集，^：H—R，i一1，2，…，77z是空间H上的连续 则有9“一P(、(zⅢ)． 函数． 假设a。厂；(z)在有界集合上是有界的，即 1 预备知识 U。a。厂i(z)在H的任意有界子集B上是有界的， 定义[23设H是一个Hilbert空间，y是H 其中i一1，2，…，m． 的一个非空子集，称点列{z。}∈H拟Fej∈r收敛 考虑有如下形式的随机增量次梯度方法 z女一吼．^， 到y是指，对所有的了∈V，都存在是≥o和点列 {文)cR+使得∑文o，且对所有的是≥点，都有 蛾．。一Pc[尘。“。一堕g。。]，i一1，2，…，m，(2) T|k ||z。+，一T||≤旷z。一T|I+文成立． z女+12蛾，^． 命题n1 (1)对任意的y，z∈H，有 其中∞。，叫。，…，∞。是1，2，…，m的任意一个排 ||Pf(y)一P。，(2)II≤||了一zII； 列，由方法的迭代过程可以看出，每次迭代中的m (2)对任意的y∈H，歹∈C，有 个子迭代的搜索方向都是随机给出的，所以称之 y一歹，了一Pf(y)≥O． 为随机增量次梯度方法，这种迭代方式，比按固定 由方法的迭代过程及命题和(2)、(4)式可得 顺序给出搜索方向的方法的收敛效果要更好[1]． ||够，。～z||≤0，峨．。一zII+玩一池，(6) Pf表示在集合C上的投影， (7) ||z^+1～z女II=||蛾．I—z^||≤mn^． g即女∈孙厂哆(缈H．{)，且e，．。≥O， a。：，q(够-1．女)5{g：凡。(z)一厂埘。(9。“t)≥