ELM极限学习机相关.docxVIP

简单易学的机器学习算法——极限学习机 简单易学的机器学习算法——极限学习机(ELM) 一、极限学习机的概念 极限学习机(Extreme Learning Machine) ELM，是由黄广斌提出来的求 解单隐层神经网络的算法。 ELM 最大的特点是对于传统的神经网络，尤其是单隐层前馈神经网 络(SLFNs)，在保证学习精度的前提下比传统的学习算法速度更快。 二、极限学习机的原理 ELM 是一种新型的快速学习算法，对于单隐层神经网络，ELM 可以随机初始化输入权重和偏置并得到相应的输出权重。 对于一个单隐层神经网络(见 Figure 1)，假设有个任意的样本，其中 对于一个单隐层神经网络(见 Figure 1)，假设有 个任意的样本 ， 其中 ， 。对于 一个有 个隐层节点的单隐层神经网络可以表示为 ， 为了能够训练单隐层神经网络，我们希望得到 ， 和 ，使得 其中， ，这等价于最小化损失函数 其中，为激活函数，为输入权重， 为输出权重， 是第 个隐层单元的偏置。表示 其中， 为激活函数， 为输入权重， 为输 出权重， 是第 个隐层单元的偏置。 表示 和 的内积。 即存在 ， 和 ，使得 其中， 是隐层节点的输出， 为输出权重， 为期望输出。 其中， 是隐层节点的输出， 为输出权重， 为期望输出。 算法中, 一旦输入权重和隐层的偏置 被随机确定，隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统。并且输出权重 可以被确定 算法中, 一旦输入权重 和隐层的偏置 被随机确定，隐层的输出矩阵 就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统 。并且输出权重 可以被确定 其中，是矩阵 的 Moore-Penrose 其中， 是矩阵 的 Moore-Penrose 广义逆。且可证明求得的解 的范 我们使用《简单易学的机器学习算法——Logistic 回归》中的实验数据。 原始数据集 我们采用统计错误率的方式来评价实验的效果，其中错误率公式为： 对于这样一个简单的问题，。MATLAB 对于这样一个简单的问题， 。 主程序 [plainv] [plainv]iew plain copy %导入数据集A = load(); data = A(:,1:2);%特征 label = A(:,3);%标签 [N,n] = size(data); L = 100;%隐层节点个数m = 2;%要分的类别数 %--初始化权重和偏置矩阵W = rand(n,L)*2-1; b_1 = rand(1,L); ind = ones(N,1); b = b_1(ind,:);%扩充成 N*L 的矩阵 tempH = data*W+b; H = g(tempH);%得到 H %对输出做处理temp_T=zeros(N,m); for i = 1:N if label(i,:) == 0 temp_T(i,1) = 1; else temp_T(i,2) = 1; end end T = temp_T*2-1; outputWeight = pinv(H)*T; %--画出图形x_1 = data(:,1); x_2 = data(:,2); hold on for i = 1 : N if label(i,:) == 0 plot(x_1(i,:),x_2(i,:),.g); else plot(x_1(i,:),x_2(i,:),.r); end end output = H * outputWeight; %---计算错误率tempCorrect=0; for i = 1:N [maxNum,index] = max(output(i,:)); index = index-1; if index == label(i,:); tempCorrect = tempCorrect+1; end end errorRate = 1-tempCorrect./N; 激活函数 [plainv]iew plain copy function [ H ] = g( X ) H = 1 ./ (1 + exp(-X)); end ELM(Extreme Learning ELM(Extreme Learning Machine)是一种新型神经网络算法，最早由Huang 于 2004 年提出 【Extreme learning machine: a new learning scheme of feedforward neural networks】。 与 SVM，传统神经网络相比，ELM 的训练速度非常快，需要人工干扰较少，对于异质的数据集其泛化能力很强。 Huang 在【Extreme learning machines: a survey