04神经网络控制.pptVIP

主要内容

•神经网络的基本概念

•前向网络及其主要算法

•反馈网络

•支持向量机

•神经网络控制

•Matlab神经网络工具箱

4.1神经网络的基本概念

•什么是神经网络

•神经网络的基本特征

•神经网络的发展简史

•神经网络的结构

•神经网络的学习方法

4.1.1什么是神经网络

•神经网络是指模拟人脑神经系统的结构和功能，运用

大量的处理部件，由人工方式构成的非线性动力学网

络系统

•神经网络从两个方面上模拟大脑：

◆神经网络获取的知识是从外界环境中学习得来的。

◆内部神经元的连接强度，即突触权值，用于储存获

取的知识

•学习算法是用于完成学习过程的程序，其功能是以有

序的方式改变系统权值以获得想要的设计目标。突触

权值的修改提供了神经网络的一种设计方法

4.1.2神经网络的基本特征

•并行分布处理

•非线性映射

•通过训练进行学习

•适应与集成

•硬件实现

4.1.3神经网络的发展简史

•初始发展期（20世纪40年代～60年代）:

◆1943年McCulloch（心理学家）和Pitts（数理逻

辑学家）发表文章，提出M-P模型。M-P模型能完成

一定的逻辑运算。——标志神经计算时代的开始

◆1949年DonalaU.Hebb（心理学家）论著《The

OrganizationofBehavior（行为自组织）》，提出突

触联系强度可变的假设，认为学习的过程最终发生在

神经元之间的突触部位，突触的联系强度随着突触前

后神经元的活动而变化。——Hebb规则：若两个神经

元输出兴奋，则它们之间的连接权加强，反之减少。

4.1.3神经网络的发展简史

•初始发展期（20世纪40年代～60年代）:

◆1957年FrankRosenblatt定义了一个神经网络结构，

称为感知器(Perceptron)。第一次把神经网络研究从纯

理论的探讨推向工程实现，在IBM704计算机上进行了

模拟，证明了该模型有能力通过调整权的学习达到正

确分类的结果。掀起了神经网络研究高潮。

◆1962年电机工程师Window和Hoff提出自适应线

性元件Adaline，它是一个连续取值的线性网络。

4.1.3神经网络的发展简史

•低谷期（20世纪60年代末～70年代末）:

◆1969年M.Minsky和S.Papert发表《Perceptrons》的

论著，指出感知器仅能解决一阶谓词逻辑，只能做线

性划分。对于非线性或其他分类会遇到很大困难。一

个简单的XOR问题的例子就证明了这一点。——神经

网络研究一度达到低潮。原因还有：计算机不够发达、

VLSI还没出现、而人工智能和专家系统正处于发展高

潮。

◆仍有不少学者致力于NN的研究，如Grossberg和

Carpenter提出自适应共振理论ART网络，Kohonen提

出自组织映射网络等。

4.1.3神经网络的发展简史

•兴盛期（20世纪80年代～90年代初）:

◆1982年JohnJ.Hopfield（物理学家）提出了全联接

网络，离散的神经网络模型。——全新的具有完整理

论基础的神经网络模型。基本思想是对于一个给定的

神经网络，对于一个能量函数，这个能量函数是正比

于每一个神经元的活动值和神经元之间的联接权。而

活动值的改变算法是向能量函数减少的方向进行，一

直达到一个极小值为止。证明了网络可达到稳定的离

散和连续两种情况。3年后ATT等做出了半导体芯

片。——神经网络复兴时期开始

4.1.3神经网络的发展简史

•兴盛期（20世纪80年代～90年代初）:

◆1986年美国的一个平行计算研究小组提出了前向反馈

神经网络的BackPropagation（BP）学习算法。成为当

今应用最广泛的方法之一。该方法克服了感知器非线性

不可分类问题，给神经网络研究带来了新的希望。

◆1990年汉森(L.K.Hansen)和萨拉蒙(P.Salamon)提出

了神经网络集成(neuralnetworkensemble)方法。他们证

明，可以简单地通过训练多个神经网络并将其结果进行

拟合，显著地提高神经网络系统的泛化能力。神经网络

集成可以定义为用有限个神经网络对同一个问题进行学

习，集成在某输入示例下的输出由构成集成的各神经网

络在该示例下的输出共同决定。

4.1.3神经网络的发展简史

•再认识与应用研究阶段