回声状态网络地研究进展.pdfVIP

第34卷第2期 北 京 科 技 大 学 学 报 V01．34NO．2 of ofScienceand Feb．2012 2012年2月 JournalUniversity TechnologyBeqing 回声状态网络的研究进展 罗 熊1’园 黎 江1’ 孙增圻2’ 1)北京科技大学计算机与通信工程学院，北京100083 2)清华大学计算机科学与技术系智能技术与系统国家重点实验室，北京100084 圜通信作者，E—mail：xluo@ustb．edu．cn 摘要 回声状态网络是近年来新兴的一种递归神经网络，独特而简单的训练方式以及高精度的训练结果已使其成为当前 研究的热点之一．在该网络中。引入了储备池计算模式这一新的神经网络的建设方案，克服了之前网络模型基于梯度下降的 学习算法所难以避免的收敛慢和容易陷入局部极小等问题．围绕这种新型网络结构，国内外许多学者开展了多样的研究．本 文全面深入介绍了回声状态网络这一新兴技术，讨论了回声状态网络的优缺点，并综合近年的研究现状，总结了回声状态网 络的主要研究工作进展和未来的研究方向． 关键词 回声状态网络；储备池计算；递归神经网络 分类号TPl8 Reviewonechostatenetworks LUO Xiong‘旧，LIJiang”，SUNZeng—qi2’ of andCommunication ofScienceand 1)SchoolComputer Engineering，UniversityTechnologyBeijing，Beijing100083，China of and of Scienceand 2)State Technology University，Beijing100084， KeyLaboratoryintelligent systems，DepartmentComputer Technology．Tsinghua China author．E—mail：xluo@ustb．edu．cn 5：≈Corresponding state novelkindof neuralnetworkandhas becomeahot forits ABSTRACTTheecho network(ESN)isa recurrent recently topic metlIodwith reservoir methodis isa anddistinctive ESN。the easy training along highperformance．In computing introduced，which to this modelwith recurrent new used arecurrentneural novel neuralnet- approach design netWork．Bycomparing existing completely work canovercomethe encounteredinslow andlocalminimuminthe descentbased models，it difficulty convergence gradient training isconsiderableenthusiasmfortheresearchand ofESN。AreviewonESNis inthis