带惩罚项的BP神经网络在线梯度法.pdfVIP

第一章绪论 §111神经网络综述 人工神经剐络是一门交叉学科，是生命科学和工程科学相互交叉、相互渗透、相 互促进的结果。作为人类智能研究的重要组成部分，它已成为神经科学、脑科学、心理 学、认如科学、计算机科学、数理科学共同关心的焦点。 神经网络的研究已有50多年的历史，可以大致分为四个阶段。一、奠基时期。作为 一次高潮。从50年代后期到六十年代中期是神经网络的第～次研究高潮。这一时期神 经网络得到很大发展，但也有一些问题。三、沉默期。随着Marvin 问题，也不能实现许多其它的谓词函数。使神经网络的研究走入低谷，大多数学者转 向人工智能、模式识别等领域。但也仍有一+些人作了许多扎实的基础工作，为神经网 络的复兴开辟着道路。网、复兴期。80年代以来又有大量的学者开始研究神经网络，其 中John Hopfield提出的联想记忆神经网络和他在世界各地的讲学成为掀起这次热潮的 强大动力。另外许多学者各自研究出凋节多层感知器相继层间连接权的一种算法，即 著名的反向传播(BP)算法。虽然不能说BP解决了任意计算任务．但他确实解决了许 多单层感知器不能解决的问题，如x0R问题，反向传播学习算法使多层