邻近随机加速梯度法的收敛性研究.pdf

摘要

摘要

邻近梯度算法及其加速版本是求解复合优化问题的有效方法，其中该问

题可以表示为一个光滑函数与一个非光滑函数的和。当该光滑函数可以进一

步表示为多个光滑函数和的形式，则可以采用随机梯度法的思想，减小梯度

的计算量，采用邻近随机梯度法进行求解，目前已经有了这方面的研究成果。

本文的想法是利用加速的思想进一步研究求解该问题的邻近随机加速

梯度法的收敛性。值得注意的是，绝大多数随机类算法的收敛性主要集中在

期望收敛，本文将考虑该算法的几乎必然收敛性，这是比期望收敛更本质的

收敛结果。

本文主要分为四个章节，主要内容如下：

第一章，主要介绍邻近随机加速梯度法的研究背景、国内外现状以及相

关工作包括邻近梯度下降法、加速邻近梯度法、几乎必然收敛以及本文要研

究的邻近随机加速梯度法。

第二章，简要陈述本文所需的预备知识，包括一些定义和已知结果。

第三章，通过选择适当的步长，研究邻近随机加速梯度法的收敛性。

第四章，对全文进行了总结，提出了未来的研究展望。

关键词：邻近随机加速梯度法；几乎必然收敛；复合优化问题；非光滑优化问题；

随机优化问题

I

目录

目录

摘要I

AbstractII

11

第章前言

1.1本文的研究背景及意义1

1.2相关工作2

1.2.1加速邻近梯度法2

1.2.2随机邻近梯度下降法2

1.2.3几乎必然收敛3

1.2.4邻近随机加速梯度法4

1.3贡献5

26

第章预备知识

38

第章收敛分析

3.1关于超鞅收敛速率的引理8

3.2邻近随机加速梯度法的几乎必然收敛分析8

418

第章总结与展望

4.1全文总结18

4.2研究展望18

参考文献19

致谢i

关于学位论文原创性/使用授权的声明iii

在学期间的科研情况iv

Abstract

Abstract

Theproximalgradientdescent(PGD)anditsacceleratedversionsareeffective

methodsforsolvingcompositeoptimizationproblems,wheretheproblemcanbe

representedasasumofasmoothfunctionandanon-smoothfunction.Whenthesmooth

functioncanbefurtherexpressedasasumofmultiplesmoothfunctions,theideaof

stochasticgradientdescentcanbeemployedtoreducethecomputationalcostofgradients.

Byutilizingtheconceptofproximalstochasticgradientdescent(PSGD),researchresults

inthisdirectionhavealreadybeenachi