利用EM算法估计隐含观测量的回馈神经网络学习新方法.pdfVIP

第 10 期 电　　子 　　学 　　报 Vol . 28 　No . 10 　2000 年 10 月 ACTA ELECTRONICA SINICA Oct . 　2000 　 利用 EM 算法估计隐含观测量的回馈神经网络学习新方法 戴宪华 (汕头大学电子工程系 ,汕头 515063) ( ) 　　摘 　要 : 　研究回馈神经网络 RNN 参数估计的新方法. 利用隐含观测量 ,将复杂 RNN 的训练分解为线性输出层 ( ) 和多个单隐元的参数估计. 基于每个隐元激励函数的多点线性近似 ,RNN 可利用统计混合专家网络模型 ME 描述 ,从 ( ) 而将 RNN 的参数估计转化为包含隐含观测量的线性系统的最大似然估计问题 ,最后利用期望最大化 EM 算法获得 RNN 的隐含观测量及其参数估计. 关键词 : 　回馈神经网络 ; EM 算法 ; 隐含观测量 中图分类号 : 　TP183 　　　文献标识码 : 　A 　　　文章编号 : (2000) A New Metho d for Training RNN via Hidden Repre sentation Estimate d by EM Algorithm DAI Xianhua ( ) Dept . of Electronic Eng . , Shantou University , Shantou 515063 , China Ab stract : 　A new method for training recurrent neural network (RNN) has been proposed. By introducing the hidden represen tation or hidden variables into RNN ,training the complicated RNN is decomposed into training a set of single neurons and a