BP神经网络算法_new详解.doc

神经网络技术及其应用作业 题目：BP神经网络算法及应用 姓名： 何 兆 容 学号： 2013020456 学院：管理科学学院 专业：基 础 数 学 BP神经网络算法及应用 第一部分 人工神经网络的发展历史 人工神经网络（Artificial Neural Network,ANN），是借鉴人脑的结构和特点，通过大量简单处理单元（神经元或节点）互连组成的大规模并行分布式信息处理和非线性动力学系统，它是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型McCulloch与数学家Pitts在数学生物物理学会刊《Bulletin of Mathematical Biophysics》MP模型。他们的神经元模型假定遵循一种所谓“有或无”（all-or-none）规则。如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作，McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算函数。这是一个有重大意义的结果，有了它就标志着神经网络和人工智能学科的诞生。1949年生理学家D.O.Hebb出版了《The Organization of Behavior》(行为组织学)一书。该书第一次鲜明提出了神经元连接强度的Hebb规则。他认为学习过程是在突触上发生的，突触的联系强度随其前后神经元的活动而变化。根据这一假设提出的学习规则为神经网络的学习算法奠定了基础，使神经网络的研究进入了一个重要的发展阶段。1958年，计算机科学家Rosenblatt提出感知机（Perceptron），首次把神经网络理论付诸工程实现。这是一种学习和自组织的心理学模型，它基本上符合神经生物学的知识，模型的学习环境是有噪声的，网络构造中存在随机连接，这是符合动物学习的自然环境。当时，人们对神经网络的研究过于乐观，认为只要将这种神经元互连成一个网络，就可以解决人脑思维的模型问题。但是，随之而来的Minsky和Papert（1969）所著的《Perceptron》一书，利用数学证明单层感知器所能计算的根本局限，提出感知器的处理能力有限，甚至连XOR这样的问题也不能解决，并在多层感知器的总结章中，论述了单层感知器的所有局限性在多层感知器中是不可能被全部克服的。当时人工智能的以功能模拟为目标的另一分支出现了转机，产生了以知识信息处理为基础的知识工程（Knowledge Engineering），给人工智能从实验室走向实用带来了希望。同时，微电子技术的发展，使传统的计算机的处理能力有很大提高，数字计算机的发展使当时科学界普遍认为它能解决一切问题，包括模式识别、机器人控制等。因而不必去寻找新的计算理论与实现方法。而且，当时的工艺水平还未能达到制作实用的具有足够规模的神经网络，用分离的电子管即使是晶体管所制作的神经网络也只能作示教星的表演。这些因素的共同作用，促使人们降低了对神经网络研究的热情，从而使神经网络进入萧条时期。1982年，美国加州工学院Hopfield提出Hopfield神经网络模型，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的发展。1985年，Hinton和Sejnowsky等人提出了Boltzmann模型，首次采用了多层网络的学习算法，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年Remelhart和McClelland等人提出了并行分布处理的理论，同时，Werbos和Parker独立发展了多层网络的BP算法，这是目前最普遍的网络，广泛用于实际问题求解。 第二部分 人工神经网络的主要应用 神经网络的发展如今已到了一个新时期，它涉及的范围还在不断扩大，其应用渗透到各个领域。在连接主义模式下，进化与学习结合的思想正在迅速发展，神经计算、进化计算正成为其发展的一个重要方向。日本学者Amari.S将微分流形和信息集合应用于人工神经网络的研究，探索系统化的新的神经信息处理理论基础，为人工神经网络的理论研究开辟了条崭新的途径。神经网络理论有极强的数学性质和生物学特征，尤其是在神经科学、心理学和认识科学等方面提出了一些重大问题，是向神经网络理论研究的新挑战，也是它发展的机会。21世纪神经网络理论日益变得更加外向，不断产生具有重要意义的概念和方法，推进神经网络向更高阶段发展。并且神经网络的应用，已渗透到模式识别、图像处理、非线性优化、语音处理、自然语言理解、自动目标识别、机器人、专家系统等各个领域，并取得了令人瞩目的成果。神经网络理论也已成为涉及神经生理科学、认识科学