基于softplus激活函数和改进fisher判别的elm-北京工业大学学报.pdfVIP

第41卷 第9期 北 京 工 业 大 学 学 报 Vol.41 No.9 2015年 9月 JOURNAL OF BEIJING UNIVERSITY OFTECHNOLOGY Sept. 2015 基于Softplus激活函数和改进Fisher判别的ELM算法 1 1 1 2 孙艳丰 ,杨新东 ,胡永利 ,王摇 萍 (1.北京工业大学 城市交通学院多媒体与智能软件技术北京市重点实验室,北京摇 100124; 2.哈尔滨理工大学 应用科学学院,哈尔滨摇 150080) 摘摇 要:在极限学习机(extreme learning machine,ELM)网络中,对可加型隐单元的激活函数通常选择的是Sigmoid 函数. 因此,首先提出一种新型修正线性函数的近似平滑函数Softplus来替代它. Softplus激活函数因为更接近生 物学的激活模型且具有一定的稀疏能力,可进一步优化网络性能. 其次,为了使ELM算法训练的网络具有更好的 分类性能,考虑了类内距和类间距的约束,提出了基于改进Fisher判别约束的ELM算法,从而使解析求得的输出权 值更加利于分类,进一步改进了识别性能. 最后,在手写数字库和人脸库上的实验证明了改进ELM算法的可行性 和优越性. 关键词:ELM算法;激活函数;Fisher判别 中图分类号:U461;TP308 文献标志码:A 文章编号:0254-0037(2015)09-1341-08 doi:10.11936/ bjutxb2015010038 ELM Algorithm Based on Softplus Activation Function and Improved Fisher Discrimination 1 1 1 2 SUN Yan鄄feng ,YANG Xin鄄dong ,HU Yong鄄li ,WANG Ping (1.Beijing Key Laboratory of Multimedia and Intelligent Software Technology,College of Metropolitan Transportation, Beijing University of Technology,Beijing 100124,China; 2.College of Applied Science,Harbin University of Science and Technology,Harbin 150080,China) Abstract:In the extreme learning machine (ELM) network, sigmoid activation function is usually chosen for additive hidden neurons. Therefore,thispaper replaced thisactivationfunctionwith a smooth approximation called softplus function. Because of being closer to the biological activation model and having certain sparseness,softplusactivationfunction canfurthe