神经网络第1章.pptVIP

第1章 神经网络和自动控制的基础知识 　　　1.1 人工神经网络的发展史　　人工神经网络（Artificial Neural Network，简称ANN 或AN2）是由大量而又简单的神经元按某种方式连接形成的智能仿生动态网络，它是在不停顿地向生物神经网络(Biological Neural Network，简称BNN 或BN2)学习中开始自己学科生涯的。　　BN2作为一门科学，兴起于19世纪末期。1875年意大利解剖学家Golgi用染色法最先识别出单个神经细胞。1889年西班牙解剖学家Cajal创立神经元学说，该学说认为：神经元的形状呈两极，细胞体和树突可以接受其他神经元的冲动，轴索的功能是向远离细胞体的方向传递信号。 　　1943年，法国心理学家W.S.McCuloch和W.Pitts在分析、综合神经元基本特征的基础上，提出了第一个神经元数学模型（M-P模型），开创了人类自然科学技术史上的一门新型学科——AN2的研究。从1943年到现在，半个多世纪过去了，AN2的发展历经波折，颇具戏剧性。今天，当神经网络和神经计算机已经发展成为一门多学科领域的边缘交叉学科的时候，当传统的智能学科，如人工智能、知识工程、专家系统等也需要发展而把目光转向AN2的时候，如实地介绍AN2当前面临的难题，客观地评价AN2的应用成果，探讨AN2研究的突破口，都是极有益处的。 1.1.1 20世纪40年代——神经元模型的诞生　　1943年提出的M-P模型采用神经节概念，把神经元看做双态开关，利用布尔逻辑函数对神经过程进行数学模拟。这个模型不仅沿用到今天，而且其创建方式一直启发后人发扬并贯穿至今，直接影响了这一领域研究的全过程。　　1948年，John Von Neumann(指令存储式电子计算机以他的名字冯·诺依曼命名)研究比较过人脑结构和指令存储式计算机的联系与区别，提出以简单神经元构成自再生自动机网络。 　　1949年，心理学家D. O. Hebb提出神经元群、突触和返响回路的概念。他根据心理学中条件反射基理，研究AN2中合适的学习方式，探讨了神经细胞间连接强度的变化规律，概括成著名的Hebb学习法则：如果两个神经元都处于兴奋激活状态，那么彼此的突触连接权就会得到增强。40年后，有人指出了Hebb法则的局限性。 1.1.2 20世纪50年代——从单神经元到单层网络，形成第一次热潮　　1958年，F. RoSenblatt提出具有学习能力的“感知机”模型，完成了从单个神经元到三层神经网络的过渡。　　原型感知机由感知层S、连接层A和反应层R等三层构成，由于从感知层S到连接层A的连接权固定，从连接层A到反应层R的连接权具有因学习而变化的能力，因此它实质上只是一种只有输入层和输出层的单层神经网络。这种模型以强化控制系统作为“教师”信号指导网络开展学习，首次把理论探讨付诸工程实践，引起人们广泛注意并广为效仿。世界上许多实验室都仿制感知机用于文字识别、声音识别、声纳信号识别及学习记忆。 1.1.3 20世纪60年代——学习多样化和AN2的急剧冷落 　 1960年，Widrow 和 Hoff提出自适应线性元Adaline(adaptive linear element)网络，这是在当时研究大脑自适应学习系统的基础上提出的单层前馈感知机模型。它使用的均方误差最小化算法与感知器的误差修正算法虽然形式上相同，但阈值符号发生了改变，使得两者的学习有着本质的区别：前者的数学基础在于超平面位置调整，后者的数学基础在于误差曲面上的梯度下降。20多年以后，人们发现Widrow的这些理论成了神经学习系统的基本法则。 　　1961年，Caianiello发表了关于神经网络数学的理论著作，提出了神经元方程，用布尔代数模拟机能的动力过程、分析并研制细胞有限自动机的理论模型。　　1969年，美国人工智能学家M.Minsky 和S.Papert出版了《Perceptrons》(感知机)一书，证明了单层神经网络甚至不能解决像“异或”这种简单运算问题，并且不能训练已发现的许多模式。甚至还有观点认为：把感知机扩展成多层装置是没有意义的。由于人工智能的巨大成就以及作者的权威和影响很大，使神经网络沿感知机方向的发展急剧降温。 1.1.4 20世纪70年代——在低迷中顽强地发展　　AN2出现低潮的原因有三个：第一，Von Neumann型计算机的发展处于鼎盛时期，运算速度和存储容量日益提高，软件需求日益增多，人们误以为发展了计算机的硬件及软件就可以完成模拟人类的认知过程；第二，单层神经网络功能有限；第三，多层神经网络没有有效的学习算法。 　　在研究基金锐减、大批研究人员转向的情况下，仍然有少数具有远见卓识的学者坚持不懈地持续研究工作。资料表明，在这十几年内提出的