利用隐含观测量估计将复杂神经网络分解为多个单隐元学习新方法.pdfVIP

电子学报990715 电子学报 ACTA ELECTRONICA SINICA 1999年 第27卷 第7期 Vol.27 No.7 1999 利用隐含观测量估计将复杂神经网络 分解为多个单隐元学习的新方法 戴宪华 　　【提要】　本文从统计学的角度研究多层多隐元前馈神经网络(NN)的参数估计学 习问题.利用NN激励函数的折线线性近似，提出一种求解多隐层多隐元NN每个隐元指 导信号(隐含观测量)的新方法，利用每个隐元的指导信号估计可以将多隐层多隐元NN 的参数估计学习转化为多个相互独立的单隐元NN参数估计学习训练问题.从而将复杂 系统参数估计问题转化为简单系统的参数估计问题而得以解决. 　　关键词:多层前馈神经网络，隐含观测量，简化快速算法 Decomposition of Learning of Complex Neural Network into a Set of Learning of the Simple Single Neuron via the Estimation of Hidden Observed Data Dai Xianhua (Dept.of Electronic Eng.,Shantou University,Shantou 515063) 　　Abstract:　The paper investigates the learning of the complex neural network (NN) from the point of the statistics.With the help of linear approximation of the activation function,a new method to estimate the supervised signal (hidden or missing data) of each hidden unit of the complex NN is proposed.By virtue of the supervised signal estimation of hidden unit,the learning of the complex NN is decomposed into the learning of a set of single neural neurons,and the complicated problem of NN learning is solved through the simple learning of a set of single neural neurons. 　　Key words:　Multiple-layer FNN,Hidden variables,Simple and fast learning algorithm 一、引　　言 　　神经网络(NN)的研究及应用是近十多年发展起来的一个信息处理的新领域，它的 研究发展为信息处理问题提供了一高性能的解.优良的NN处理性能很大程度上取决于 NN的自学习能力.因此，如何有效地训练学习是神经网络研究及应用的关键.但是，对 于实际的应用问题，获得良好的可收敛于全局最优的训练学习通常是十分困难的. 　　大部分实际工程应用中的前馈NN通常都是多层(隐层)和多个隐元构成的复杂网 络，对于这类复杂网络的参数估计自适应训练学习，较常用的学习方法为BP算法，但 是这一算法通常难以确保算法的收敛性，同时算法的收敛速度也较慢. 　　为解决以上问题，一个十分自然的想法就是将复杂前馈NN分解为多个简单单隐元 NN的参数估计学习问题，从而利用简单单隐元的学习解决复杂网络的学习问题.顺着 file:///E|/qk/dianzixb/dian99/dian9907/990715.htm（第 1／9 页）2010-3-22 17:01:13 电子学报990715 这一思路，目前已有部分学者开展的研究工作，并取得了一定成果，如文献［1］提出 了一种可解决单隐层前馈网络隐元指导信号估计的方法.但是，总的来看，有关这一问 题的研究还刚刚起步，其中还存在大