BFGS修正算法在前馈神经元网络学习中的应用.pdfVIP

V ol. 27 N o. 5 华　东　理　工　大　学　学　报　　　　　 200 1210 Jo urnal of Ea s t C hina U niver sit y of Science and Techno lo gy　　　　　 459 　　文章编号: 1006 23080 (200 1) 05 20459 204 BF GS 修 正 算 法 在 前 馈 神 经 元 网 络 学 习 中 的 应 用 3 杨慧中 , 　张素贞 (华东理工大学自动化研究所, 上海 2002 37) 　　摘要: 介绍 了拟牛顿公式 中 修正算法和 2 不精确线性搜索准则所具有 的全 B F GS W o lf Pow ell 局收敛性质, 分析了将该算法应用到前馈神经元网络的训练学习中存在局部最优的原因。 关键词: 前馈神经元 网络; 拟牛顿公式; B FG S 修正算法;W o lf2Pow el l 不精确线性搜索准则; 学 习算法 中图分类号: T P30 1. 6 文献标识码:A The A pp l ica t ion of BF GS Rev ised A lgor ithm in L earn in g Feed F or wa r d N eur a l Networ k s 3 YA N G H u i2 hon g , 　ZH A N G S u 2 hen (R e sea r ch Ins titu te of A u tom a tion ECU S T , S han g ha i 200 237, Ch ina ) Ab str a ct: B F GS r ev ised a lgo r ithm fo r Q ua si2N ew ton form u la an d W o lf2Pow ell ru le w ith ou t exact lin ear sea r ch is in tro duced. Th e r equ irem en t s fo r ho ld ing g lob al con ver gen ce p rop er ty ar e p rop o sed. T h e 2 . r ea son o f lo ca l op t im i a t ion fo r lea rn in g m u lt i laye r feed fo rw a rd n eu ra l ne tw o rk s is d iscu s sed K ey wor d s: feed fo rw a rd neu r al ne tw o rk s; Q ua si2N ew ton fo rm u la; B FG S rev ised algo r ithm ; W o lf2 Pow ell ru le w ithou t ex act lin ear sea rch; lea rn ing a lgor it hm 　　人工神经元 网络为非线性系统建模提 供 了快 优化理论 中采用拟牛顿公式 的B FG S 修正算法和 速、简便的学习能力和应用性能, 以及精确表达过程