基于共轭梯度极速学习机.docVIP

基于共轭梯度极速学习机 　　摘要：极速学习机（ELM）由于具有较快的训练速度和较好的泛化能力而被广泛的应用到很多的领域，然而在计算数据样例个数较大的情况下，它的训练速度就会下降，甚至会出现程序报错，因此提出在ELM模型中用改进的共轭梯度算法代替广义逆的计算方法。实验结果表明，与求逆矩阵的ELM算法相比，在同等泛化精度的条件下，共轭梯度ELM有着更快的训练速度。通过研究发现：基于共轭梯度的极速学习机算法不需要计算一个大型矩阵的广义逆，而大部分广义逆的计算依赖于矩阵的奇异值分解（SVD），但这种奇异值分解对于阶数很高的矩阵具有很低的效率；因为已经证明共轭梯度算法可通过有限步迭代找到其解，所以基于共轭剃度的极速学习机有着较高的训练速度，而且也比较适用于处理大数据。 　　关键词：极速学习机；广义逆；共轭梯度法；奇异值分解 　　中图分类号： TP181 　　Abstract： Extreme Learning Machine （ELM） has been widely used in many applications due to its fast convergence and good generalization performance. However， the training speed will slow down or ELM will make error when the number of the training samples reaches a certain scale. Conjugate gradient algorithm was introduced into the ELM model instead of the generalized inverse. The experimental results show that， under the condition of the same generalization accuracy， conjugate gradientbased ELM has faster training speed than that of ELM with matrix inversion. Because conjugate gradientbased ELM do not need to calculate the generalized inverse of a hidden layer output matrix， while most of the generalized inverse calculations depend on the matrix Singular Value Decomposition （SVD）， which has low efficiency for a highorder matrix. It has been proved that the conjugate gradient algorithm can find the solution through iteration with finite steps， so the conjugate gradientbased ELM algorithm has faster training speed and is also suitable for processing big data. 　　Key words： Extreme Learning Machine （ELM）； generalized inverse； conjugate gradient method； Singular Value Decomposition （SVD） 　　0引言 　　前馈神经网络是人工神经网络领域应用最为广泛的一类，因其较强的非线性映射能力，在众多领域取得了不错的表现[1]。在众多的前馈神经网络学习算法中，反向传播（Back Propagation， BP）算法应用最为广泛[2]。虽然Funahashi和Cybenko已经证明，BP网络具有逼近任意连续函数的任意精度的能力，但是BP算法的收敛速度过慢，且容易陷入局部极小。针对BP算法的不足，文献[3]提出了极速学习机（Extreme Learning Machine， ELM）算法。近年来，ELM已成为神经网络领域的研究热点，引起了越来越多研究人员的兴趣[4-7]。为了适应现在的大数据时代，文献[8]提出了对于多分类和拟合的极速学习机，本质就是基于核的ELM。但是由于有较大的空间复杂度，因此在计算大数据时容易出错。本文提出了基于共轭梯度的ELM（Conjugate Gradientbased ELM， CGEL