奇异模型学习算法的的分析研究与应用.pdfVIP

摘要 摘要 由于结构对称性等原因，多层感知器、ImF网等前馈神经网络的参数空间中存在大 量的奇异区域。受奇异性的影响，前馈神经网络的学习过程中普遍存在着局部最小点多、 学习速度慢、学习易陷入平坦区(plate眦)等异常现象。研究奇异区域附近的学习动态， 对理解神经网络的动力学行为、改进神经网络结构设计等具有重要意义。 针对前馈神经网络存在的奇异性问题，我们引进了自然梯度法，它能够有效地避开 神经网络学习过程中出现的奇异区域。为此，本文对自然梯度法进行了以下研究和分析： (1)对于多层感知器模型，在激活函数选为误差函数的条件下，推导了自然梯度 学习算法。我们具体给出了Fishcr信息阵及其逆矩阵的解析表达式，从而得到了自然梯 法能够加快学习速度，可以避免学习中出现的平坦区现象，并且渐近的逼近Crau【Il昏Rao 下界。 逆矩阵。为此，我们将激活函数简化为高斯函数，从而对RBF网模型进行分析和研究。 将自然梯度法应用于I璩F网模型中，给出了Fisher信息阵及其逆矩阵的解析表达式。 度法进行了改进，引入自适应的方法，得到了自适应自然梯度学习算法及其解析表达式， 并与通常的梯度法进行了比较。最后，仿真验证了自适应自然梯度法良好的学习性能， 它比通常的梯度法有更快的收敛速度，也能更快地逃脱plateau区域。 关键词：多层感知器，径向基网络，Fisher信息矩阵，自然梯度法，自适应自然梯度法 Abstract Abstract The ofthefeed-f0刑ardneW．alnetworks p踟勘crspace RBF 10tsof t0s饥lctu】m 1e锄ingprocess ne帆orks，cXists仃孤geregion，due symm酏哆The offeed—f0刑孤．dneuralnetwofksisa舒．ectedthe exist manys缸a119e by singularity’there are 10cal exist behaViorssuch嬲tlle is too slow，tllere minim巩therc leamingspecd m锄y soon． Itstudies of near tlle plateauphenomen钆and dynamicsleamingsinguladties of tou11dcrstandme beh“iorofneuralne呐orksaIld si印ific觚ce dyll锄ic si印ific锄cegreat tllearchitectureneuralne俩ork． impr0Ve desi印of Wehaveinl∞Iuced也e methodt0也e for problem natural缪adient sin2marity neuralnetworks．It