09神经网.docVIP

第九章 人工神经网络概论 神经计算是一门崭新的信息处理学科，它研究非程序的、适应性的、大脑风格的信息处理的本质和能力。人工神经网络是由大量处理单元组成的非线性大规模自适应动力系统，具有学习能力、记忆能力、计算能力以及智能处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理、存储及检索功能。它是在现代神经科学研究成果的基础上提出来的，试图通过模拟大脑神经网络处理、记忆信息的方式设计一种新的机器使之具有人脑那样的信息处理能力。 §9.1引言 从1946年第一台电子计算机(ENIAC)问世以来直至现在，几乎全部信息处理都采用程序式计算方式。而比较计算机和人的计算能力，其差别是惊人的。一个人能很容易识别脸孔，理解语言，而一台巨型机也很难辨别出一颗树来。另一方面，用计算机进行计算，可以很快得到答案，大大超过了人的计算能力。那么数值计算和辩识物体之间究竟有些什么差别？ 辩识物体是不能简单明确地加以定义的。要识别一颗树，就必须给出树的全部定义。作出这样一种定义，等于要描述树的每一个可以想象到的变量。这类问题构成了随机问题。所谓随机问题，就是那些需要具备某一系统的实际上每种可能状态的知识才能解答的问题。因此，为解决一个随机问题，就要求记忆所有可能的答案，比给定输入数据时，从所有可能的解答的集合中迅速选出最合适的答案。而象数学一类的计算问题，其解答通常可以用一种算法简洁地表示出来，也就是说，可以用一个精确的指令系列来表示，该指令系列规定了如何处理输入数据以得到答案。 信息处理的一种新方法并不需要开发算法和规则，极大地减少了软件的工作量，这种方法称为神经计算。神经计算是一门崭新的信息处理学科，它从神经生理学和认知科学研究成果出发，应用数学方法研究并行分布的、非程序的、适应性的、大脑风格的信息处理的本质和能力。神经计算中主要的信息处理结构是人工神经网络。 神经信息处理是介于常规处理形式和人脑的中间。一方面，神经计算企图模仿人脑的功能，而另一方面许多实现技术又是常规的。神经信息处理许多特性与人脑相似，诸如联想、概括、并行搜索、学习和灵活性。人脑信息处理的特点：1：大规模并行处理；2：具有很强的容错性，善于联想、概括、类比和推广；3：具有很强的自适应能力。所以说人脑是最复杂、最完美、最有效的一种信息处理装置，人们正以极大的兴趣研究它的结构和机理。这种研究与20世纪初的物理学和20世纪50年代的分子生物学一样，正酝酿着重大突破，而这一突破将给整个科学的发展带来巨大而深远的影响。人们对大脑的认识已深入到探索脑的核心问题，鉴定出了一系列涉及脑工作的重要分子，在感知、行为、学习和记忆方面都取得了重要进展。这表明人们将有可能最终揭开大脑这个人体最复杂系统的奥秘，为现代科技寻找新的道路。借助大脑工作原理，有可能使信息处理获得新的突破。正因为如此，神经科学受到世界发达国家的高度重视。美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”。国际脑研究组织号召它的成员国将“脑的十年”变为全球行为。美国国防部高级研究计划局（DARPA）制订的八年研究计划中，神经网络是重要的方向。1986年日本政府提出了“人类前沿科学计划（HFSP）”研究计划，1992年提出“真实世界计算（RWC）”研究计划。德国从1988年开始执行“神经信息论”的研究计划。 目前，对大脑思维的过程了解仍然很肤浅，人工神经网络模拟的研究还很不充分，我们面临的是一充满未知的新领域。神经计算是一门新兴的边缘交叉学科。它与神经科学、认知科学、计算机科学、人工智能、信息科学、机器人学、微电子学、光科学、分子生物学等有关。神经计算研究的主要目标是：1：理解脑系统为何具有智能；2：研究各种强调“计算能力”的神经网络模型，并不着重于这些模型的生物学保真程度；3：研究大规模并行自适应处理的机理；4：研究神经计算机的体系结构和实现技术。 目前众多人工神经网络中，BP网络(前向多层反传神经网络)已成为应用最为广泛的代表性网络之一。本章主要包含了以下几个部分：首先介绍了人工神经网络的基本理论，包括人工神经网络理论的发展及现状、神经元的模型和人工神经网络模型。然后对BP网络的结构、算法、输入输出方式等进行了讨论和必要的改进。最后讨论了BP网络的适用性问题。 §9.2 神经信息处理的基本原理 人工神经网络的发展经历了一条漫长而曲折的道路。1943年，心理学家麦克洛奇(McCulloch)和数理逻辑学家皮兹(Pitts)提出了神经网络的数学模型。该模型总结了神经元的一些基本生理特性，提出神经元形式化的数学描述和网络的结构方法，从而开创了人工神经网络的时代。1949年心理学家赫布（Hebb）提出的规则为神经网络的学习算法奠定了基础。 1957年罗森勃拉特(Rosenblatt)提出的感知机(Percept