运筹学与控制论-极端学习机的有效计算.pdfVIP

Classified Index: CODE: 10075 U.D.C.: NO: A Dissertation for the Degree of M.Science The Efficient Algrithm of Extreme Learning Machine Candidate: Zhang Guiqiang Supervisor: Prof. Wang Xizhao Prof. Lu Shuxia Academic Degree Applied for : Master of Science Specialty: Operations research and control theory University: Hebei University Date of Oral Examination: June, 2013 摘 要 摘 要 极端学习机(extreme learning machine)(简称 ELM)是一种基于前馈神经网络的快速 学习算法，该算法任意给定权值和偏置，只要满足激活函数是连续可微的，那么输出权 值就被唯一确定，而权值的确定是通过求隐含层输出矩阵的摩尔彭罗斯广义逆得到的， 是一个线性系统。在绝大多数情况下，该算法的速度是很快的，但是当遇到对于大样本 集的问题(样例个数特别多的时候) ，若想得到很好的泛化能力，就会用到更多的隐含节 点，学习速度就会大大减慢。 本文针对该算法在大规模数据集学习速度慢的情况，提出两种简单快速计算摩尔彭 罗斯广义逆的算法，在泛化能力达到要求的情况下，大大加快了极端学习机的学习速度。 前一种方法充分利用小矩阵求解速度快这一特点，把较大的矩阵转化成小矩阵来计算， 后一种方法充分利用极端学习机算法的核心(求解线性模型) ，进而用一种高效的快速解 线性模型的方法求解摩尔彭罗斯广义逆。将两种方法得到的不同极端学习机用于 UCI 数据集中，分别与其他方法进行比较，实验结果表明这两种极端学习机在泛化能力与其 他方法相当的情况下极大地加快了学习速度。 关键词 极端学习机 矩阵 摩尔彭罗斯广义逆 奇异值分解 QR 分解 张量乘积 I Abstract Abstract Extreme Learning Machine (ELM) is a fast learning algorithm based on single-hidden layer feedforward neural networks, which randomly chooses input weights and the hidden layer biases, if only the activation function is infinitely differentiable, then the output weights are determined by calculating the M-P generalized inverse of the hidden layer output matrix