神经网络优化理论研究与应用_第2章神经网络基本理论及学习算法_14_22.pdfVIP

第2 章 神经网络基本理论及学习算法 第2 章 神经网络基本理论及学习算法 2.1 神经网络简介 神经网络控制是 80 年代以来，在人工神经网络（ANN ）研究取得突 破性进展的基础上，发展起来的自动控制领域的前沿学科之一。它是智能 控制领域的一个新的分支，为解决复杂的非线性、不确定性、不确知系统 的控制问题开辟了一条新的途径。 人工神经网络是一个具有高度非线性的超大规模连续时间动力学系 统。其最主要的特征是连续时间非动力学、网络的全局作用、大规模并行 分布处理及高度的鲁棒性和学习联想能力。同时它又具有一般非线性动力 系统的共性，即不可测性、吸引性、耗散性、非平衡性、不可逆性、高维 性、广泛连接性和自适应性等。因此，它实际上是一个超大规模非线性连 续时间自适应信息处理系统。 神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联 想功能强等特点，已成为解决很多问题的有利工具，对突破现有科学技术 的瓶颈，更深入探索非线性等复杂现象起到了重大作用，已广泛应用在许 [25] 多工程领域 。 事实上，研究大脑－思维－计算之间的关系还刚刚开始，道路还十分 漫长，关于脑的计算原理及其复杂性；关于学习、联想和记忆过程的机理 及其模拟等方面的研究已受到人们的关注，它未来的发展必将是激动人心 的。神经网络理论的前沿问题将渗透在21 世纪科学的挑战性问题中。 多年来，学者们建立了多种神经网络模型，决定其整体性能的三大主 要因素：神经元的特性；神经元之间相互联接的形式——拓扑结构；为适 应环境而改善性能的学习规则。 人工神经网络工作时，所表现出的就是一种计算，利用人工神经网络 求解问题时所利用的也正是网络输入到输出的某种关系式。与其他求输入、 输出关系式方法不同的是，神经网络的输入输出关系式是根据某种性能指 标计算出来的。所以应用神经网络解决实际问题的关键在于设计网络，而 网络的设计包括两个方面，一是网络结构，二是网络权值的确定。 7 燕山大学工学硕士学位论文 通常，神经网络的工作方式分为两个阶段：学习期，神经元之间的连 接权值，可由学习规则进行修改，以使目标函数达到最小；工作期，连接 [26] 权值不变，由网络的输入得到相应的输出 。 一般将神经网络分为以下四种类型：前馈、反馈、自组织与随机型。 本章将介绍控制中常用的多层前向网络：BP 网络和RBF 网络，及其学习 算法，并分析了BP 网络和RBF 网络存在的几个问题。 2.2 误差反传（BP ）网络 反向传播网络（Back-Propagation Network ，简称BP 网络），是对非线 性可微分函数进行权值训练的多层前向网络。在人工神经网络的实际应用 中，80%-90% 的人工神经网络模型是采用 BP 网络或它的变化形式，可以 说 BP 网络是人工神经网络中前向网络的核心内容，体现了人工神经网络 最精华的部分。 多层前馈网络的结构如图2- 1 所示，u 、y 是网络的输入输出向量，每 一神经元用一个节点表示，网络由输入层、隐层和输出层节点组成，隐层 可以是单层，也可以是多层（图2- 1 中是单隐层），前层至后层节点通过权 连接。 u y 输入层节点 隐层节点 输出层节点 图2-1 BP 网络模型 Fig.2-1 The model of BP network 2.2.1 BP 学习算法 BP 学习算法属于广义d 学习规则，是一种有导师的学习算法。对于每 一个输入，网络都要产生一个实际输出，在学习期间，需要把输入和期望 8 第2 章 神经网络基本理论及学习算