前馈神经网络的奇异学习动态研究-模式识别与智能系统专业论文.pdf.docxVIP

东南大学学位论文独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意。 研究生签名：盔障乞日期：2咝』!：兰乒 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布(包括以电子信息形式刊登)论文的全部内容或中、英 文摘要等部分内容。论文的公布(包括以电子信息形式刊登)授权东南大学研究生 院办理。 研究生签名：童凹釜L导师签名 卅．／7·砂严 万方数据 摘要摘要 摘要 摘要 前馈神经网络在许多领域都得到了广泛的应用，然而其学习过程经常会变得很慢， 容易陷入局部极小点，有时会陷入平坦区。研究导致这些问题出现的内在工作机制是神 经网络界的热点问题。本文从神经网络奇异性的角度分析前馈神经网络的学习动态．以 多层感知器(MLPs)神经网络和径向基函数(RBF)神经网络作为研究对象，通过对奇异性 区域附近的学习动态进行理论分析和数值分析，阐述神经网络奇异性行为的内在结构和 发生机制。本文的贡献主要包括： 1．平均学习方程对分析前馈神经网络的奇异性行为起着关键的作用。可积神经元的 前馈神经网络能够得到平均学习方程的解析表达式，使得我们可以对前馈神经网络的奇 异学习动态做定量分析。为克服MLPs中传统的激活函数一log．sigmoid函数和双曲正切 函数不可积的问题，分别选取单极性误差函数和双极性误差函数作为MLPs的激活函数， 首次给出了MLPs的平均学习方程的解析表达式。 2．使用传统方法对单极性神经元的MLPs中的重合奇异性区域附近的学习动态进 行了详细分析。基于平均学习方程的解析表达式，给出Hessian阵的显式形式，对重合 奇异性区域进行了特征值分析，并给出了实际的平均学习轨迹，与理论的学习轨迹进行 比较分析。通过使用Taylor展开，对MLPs重合奇异性区域附近的泛化误差曲面进行分 析，发现在重合奇异性区域附近泛化误差曲面更加平坦，表明实际中重合奇异性区域有 着比理论分析结果更大的影响区域。在仿真实验中分别对单极性神经元的MLPs的平均 学习动态，批处理学习动态和在线学习动态进行了分析讨论。 3，对双极性神经元的MLPs中的互反奇异性区域附近的学习动态进行了讨论分析。 通过选取双极性误差函数作为激活函数，使用坐标变换和Taylor展开，求得了互反奇异 性区域附近的理论学习轨迹和实际的平均学习轨迹。给出了双极性神经元的MLPs重合 奇异性区域和互反奇异性区域上的临界点，表明双极性神经元的MLPs的参数空间中的 临界点比单极性神经元的MLPs更多，选取单极性的激活函数更有优势。在仿真实验中 分别讨论了MLPs的平均学习动态，批处理学习动态和在线学习动态。 4．表明零权值奇异性区域是导致plateau现象发生的主要原因。针对前馈神经网络 的学习过程究竟有多大程度受到奇异性区域的影响，选取RBF网络作为研究对象，对 多种情形的RBF网络做大量仿真实验进行统计分析。给出了受到奇异性区域影响的各 种学习过程，结果表明有超过15％的学习过程受到奇异性区域的影响且零权值奇异性区 域是导致plateau现象发生的主要原因。 万方数据 东南大学博士学位论文关键词：前馈神经网络，学习动态，奇异性，plateau现象，多层感知器，径向基函数神 东南大学博士学位论文 关键词：前馈神经网络，学习动态，奇异性，plateau现象，多层感知器，径向基函数神 经网络，理论分析，数值分析 Ⅱ 万方数据 AbstractAbstract Abstract Abstract The feedforward neural networks have been widely used in many fields However,there exist singular behaviors in the learning processes，such the leaming process often becomes very slow,is easy to converge to the local minima，and the learning dynamics sometimes trap in