正则化超限学习机的最大分划广义ADMM算法.pdfVIP

杭州电子科技大学硕士学位论文

要

正则化超限学习机（RegulariedExtremeLearningMachine，RELM）是针对单

隐层前馈神经网络（Single-Hidden-LayerFeedforwardNeuralNetwork，SLFN）学习

提出的一种机器学习理论。它因快速的学习能力和良好的泛化性能受到广泛关注。但

是，在大数据环境下，RELM面临着计算量和存储量过大的挑战。并行/分布式算法

是应对该挑战的重要途径。

交替方向乘子法（AlternatingDirectionMethodofMultipliers，ADMM）具有优

良的并行结构和良好的收敛性能，是解决大规模凸优化问题的强有力工具。本文为

进一步提升ADMM算法的收敛性和并行性，提出ADMM的一种改进算法，并对其

性能进行了深入的理论分析，后将其应用于RELM。本文的创新主要围绕提升基于

ADMM算法的RELM的收敛性能和并行性能以及降低算法的计算复杂度等方面展

开。主要研究工作如下：

1.研究了正则化最小二乘拟合问题的最大分划广义ADMM（MaximallySplit

GeneralizedADMM，MS-GADMM）。首先，针对新近文献中的最大分划ADMM未

充分利用目标函数的可分性，可能导致算法变慢的问题，提出新的正则化最小二乘拟

合问题的最大分划ADMM（MaximallySplitADMM，MS-ADMM）。然后，为了进

一步提升算法的收敛性，引入一种加速技术，提出一个高度并行的正则化最小二乘拟

合问题的MS-GADMM。最后，证明了算法的合理性。

2.对上述MS-GADMM算法的收敛性能和计算复杂性进行理论分析。首先在一

般情形下，应用动态系统稳定性理论，对正则化最小二乘拟合问题的MS-GADMM

的收敛条件及收敛率进行分析。然后，为了得到使算法快速收敛的参数，导出了

数据矩阵列范数相等情形下，MS-GADMM的收敛条件、收敛率以及最优参数的

计算方程。最后，推导出标量化的MS-GADMM，对其计算复杂性进行了分析，并

证明相对于新近文献中的最大分划松弛ADMM（MaximallySplitRelaxedADMM，

MS-RADMM），本文算法的计算复杂度更低。

3.研究了基于MS-GADMM的正则化超限学习机算法。将MS-GADMM算法

-I-

杭州电子科技大学硕士学位论文

应用于SLFNs的训练，提出RELM的MS-GADMM算法，并对算法的参数选择

进行了讨论。通过在基准数据集上的仿真实验，将RELM的MS-GADMM算法

与MS-ADMM算法、MS-RADMM算法及梯度下降法进行收敛性比较，并与MS-

RADMM算法及基于矩阵逆的方法进行计算复杂度比较，展示了本文算法的快速收

敛性和低计算复杂度。在GPU并行加速实验中，将RELM的MS-GADMM算法与

MS-RADMM算法及基于矩阵逆的方法进行加速比比较，展示了算法的高度并行性。

关词：机器学习，超限学习机，大数据，并行学习，交替方向乘子法

-II-

杭州电子科技大学硕士学位论文

ABSTRACT

Regularizedextremelearningmachine(RELM)isamachinelearningalgorithm

proposedforsingle-hidden-layerfeedforwardneuralnetwork(SLFN)training.Ithasat-

tractedwideattentionforitsfastlearningabilityandgoodgeneralizationperformance.

Howe