基于EFAST的在线极限学习机节点剪枝方法-三明学院学报.PDFVIP

2018年 8月 三 明 学 院 学 报 Aug. 2018 第35卷 第4期 JOURNAL OF SANMING UNIVERSITY Vol.35 No.4 凿燥蚤院员园援员源园怨愿辕躁援糟灶猿缘原员圆愿愿辕 扎援圆园员8援园4援园园8 基于EFAST的在线极限学习机节点剪枝方法 丁王斌袁魏少涵袁张碧仙 渊福州理工学院袁福建 福州袁350002冤 摘要院针对在线极限学习机(OS-ELM)的隐藏层网络结构优化问题袁设计了一种能自适应调整网络结构的在线 极限学习方法(FOS-ELM)遥该方法首先利用扩展的傅里叶振幅敏感度测试渊EFAST冤袁对OS-ELM 中的各个隐藏层节 点敏感度进行分析袁再通过移除低敏感的隐藏层节点袁从而达到对OS-ELM的网络结构进行优化的目的遥 从实验结 果中分析袁相比标准的OS-ELM袁CEOS-ELM和HOS-ELM袁在保证泛化精度的条件下袁通过本文训练方法所需的 隐藏层节点数均少于这3种方法遥 关键词院在线极限学习机;迭代最小二乘法;扩展的傅里叶振幅敏感度测试 中图分类号院TP181 文献标志码院A 文章编号院1673-4343渊2018冤04-0055-05 A Online Extreme Learning Machine Node Pruning Method Based on EFAST DING Wang-bin,WEI Shao-han,ZHANG Bi-xian (FuzhouInstitute of Technology, Fuzhou350002,China) Abstract: Inordertooptimizethehiddenlayerstructureoftheextremelearningmachine (OS-ELM),thispaperde- signsanadaptivemethodtoadjustthestructureoftheOS-ELMnetwork(FOS-ELM).Weemploytheextendedfourierampli- tudesensitivitytest (EFAST)methodtoanalyzethesensitivityofnodesinhiddenlayer.byremovingthelowersensitivity nodes,wewillachieveasimplifiedOS-ELMstructure.Andthenarecursiveleastsquarealgorithmisdesignedtoadjusted theparametersintheoutputlayer.Inthisway,thestructureofOS-ELMcanbeoptimized.Inexperiment,wecomparedour method to the standard OS-ELM, CEOS-ELM, and HOS-ELM, it proved that our method performed better than these state-of-artmethods. Key words: extremelearningmachine;recursiveleastsquare;EFAST [1-3] 极限学习机渊extreme learning machine袁ELM冤 是在单隐藏层网络结构基础上新近发展的机器 学习技 袁有处理快速尧泛化精度高尧结构简单等优点袁但这种标准的极限学习机并不能在学习的同 时也能对自身的网络结构进行自适应调整袁给极限学习机带来了一定的局限性袁并且当隐藏节点过 多时会导致ELM 的过拟合的问题袁反之过少的时候袁则会导致ELM泛化精度降低遥目前极限学习机