第六章神经网络的优化学习.docVIP

第六章：神经网络的优化学习 人工神经网络的研究始于二十世纪四十年代，神经网络的优化学习一直是研究热点。1943年美国心理学家Warren McCulloch和数理逻辑学家Walter Pitts首先提出人工神经元模型；1949年心理学家Donald O. Hebb提出了神经网络联想式学习规则，给出了神经网络学习方法；1957年美国学者Frank Rosenblatt和其他几位研究人员提出的一种简单的且具有学习能力的神经网络——感知器(Perceptron)，并给出了感知器学习规则；1960年Bernard Widrow和他的研究生Marcian Hoff提出了自适应线性神经元，并给出Widrow—Hoff学习算法；由于Rosenblatt的感知器和Widrow—Hoff的自适应神经网络都是由单层神经元构成，故其具有其内在的局限性。1969年美国著名学者Marvin Minsky和Seymour Papert在其所著的《感知器》(Perceptrons)一书中，对这些局限性进行了全面深入的分析，指出感知机网络不能实现某些基本的功能(如异或等)。Minsky的结论曾一度导致神经网络研究陷入低潮。直到80年代，改进的(多层)感知器网络和相应学习规则的提出才为克服这些局限性开辟了新的途径，并重新唤起人们对神经网络研究的兴趣。本章将主要分析前向神经网络的优化学习方法，以便于更好的了解和掌握神经网络的性能。 §6.1 感知器学习规则 感知器是第一个完整的人工神经网络。由于它具有联想记忆的功能，可以用于模式识别，并且在工程中得到实现，因此，感知器曾经掀起了神经网络的研究热潮。当前，人们仍然认为感知器网络是一种重要的神经网络。对于某些应用问题而言，这种神经网络仍不失为一种快速可靠的求解方法。另外，对感知器网络行为的理解将会为理解更加复杂的神经网络奠定良好基础。因此，这里讨论感知器网络结构及其学习规则十分必要。 6.1.1 感知器的结构 一、单神经元感知器 单神经元感知器结构与McCulloch和Pitts提出的神经元模型十分相似，如图6.1.1。 图6.1.1　单神经元感知器结构 对于图6.1.1给出的感知器神经元，其净输入及输出为： (6.1.1) 若令，则 (6.1.2) 其中：和是感知器神经元的输出和阈值； 是输入向量与神经元之间的连接权系数向量； 是感知器的输入向量； 是感知器神经元的作用函数，这里取阶跃函数。即 (6.1.3) 由于单神经元感知器的作用函数是阶跃函数，其输出只能是0或1。当神经元净输入时，当净输入时。可见，单神经元感知器可以将输入向量分为两类，类别界限为 (6.1.4) 为了便于分析，以二输入单神经元感知器为例说明感知器的分类性能。此时，类别界限为： (6.1.5) 若将、和看作为确定的参数，那么式(6.1.5)实质上在输入向量空间中定义了一条直线。该直线一侧的输入向量对应的网络输出为0，而直线另一侧的输入向量对应的网络输出则为1。两点决定一条直线，为了获得这条直线，只要找出该直线与空间坐标轴的交点即可。 若令，则可求出该直线在轴上的截距： （当时） (6.1.6) 同样若令，则可求出该直线在轴上的截距： （当时） (6.1.7) 由式(6.1.6)和式(6.1.7)可得单神经元感知器的类别界限如图6.1.2。当，或当，时，感知器输出；反之，感知器输出。 图6.1.2　双输入单神经元感知器的类别界限 对于三输入单神经元感知器，其类别界限为： (6.1.8) 若将、、和看作为确定的参数，那么式(6.1.8)相当在三空间中定义了一个平面，该平面将输入模式分为两类。三点决定一个平面，为了获得这个平面，同样需要找出该平面与空间坐标轴的交点。 若令，由式(6.1.8)可求出该平面在轴上的截距： （当时） (6.1.9) 令，由式(6.1.8)可求出该平面在轴上的截距： （当时） (6.1.10) 同样若令，由式(6.1.8)可求出该直线在轴上的截距： （当时） (6.1.11) 以上三点确定的平面即感知器的类别界限，该平面一侧的输入向量对应的网络输出为0，而平面另一侧的输入向量对应的网络输出则为1。 当单神经元感知器的输入为（）时，其类别界限