《人工智能导论-》-05学习-0...资料.ppt

人工智能导论 方若宇 ryfang@stu.edu.cn 人工神经元网络 什么叫人工神经网络 采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。 为什么要研究神经网络 用计算机代替人的脑力劳动。 计算机速度为纳秒级，人脑细胞反应时间是毫秒级。而计算机不如人。 长期以来人类的梦想，机器既能超越人的计算能力，又有类似于人的识别、分析、联想等能力。 人工神经元网络发展史 1890年，美国生物学家W.James出版了《Physiology》（生理学）一 书。首次阐明了有关人脑结构及其功能，以及相关学习、联想、记忆的基本规律。指出：人脑中当两个基本处理单元同时活动，或两个单元靠得比较近时，一个单元的兴奋会传到另一个单元。而且一个单元的活动程度与他周围的活动数目和活动密度成正比。 1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型。描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的。总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法。 ——标志神经计算时代的开始 MP模型的意义： M-P模型能完成一定的逻辑运算 第一个采用集体并行计算结构来描述人工神经元和网络工作。 为进一步的研究提供了依据 （可以完成布尔逻辑计算） 1949年Donala U.Hebb（心理学家）论著《The Organization of Behavior（行为自组织）》，提出突触联系强度可变的假设，认为学习的过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。 ——赫布规则 多用于自组织网络的学习。即：若两个神经元输出兴奋，则它们之间的连接权加强，反之减少。 赫布规则意义（提出了变化的概念） 提出了一个神经网络里信息是储藏在突触连接的权中的概念 连接权的学习律是正比于两个被连接神经细胞的活动状态值的乘积 假设权是对称的 细胞的互相连接的结构是他们权的改变创造出来的 1957年Frank Rosenblatt定义了一个神经网络结构，称为感知器(Perceptron) 。 -----?规则学习 意义：第一次把神经网络研究从纯理论的探讨推向工程实现，在IBM704计算机上进行了模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果。掀起了神经网络研究高潮。 1969M.Minsky和S. Papert发表了《Perceptrons》的论著，指出感知器仅能解决一阶谓词逻辑，只能做线性划分。对于非线性或其他分类会遇到很大困难。 ——神经网络研究达到低潮。 原因有：计算机不够发达、VLSI还没出现、而人工智能和专家系统正处于发展高潮。 七十年代,据说全球只有几十个人在研究，但还是成功的。如：日本Fukusima的Neocognitron； 芬兰Kohonen的自组织神经网络；Stephen Crossberg的共振自适应理论ART网络等 。 1982年John J. Hopfield（物理学家）提出了全联接网络，离散的神经网络模型。——全新的具有完整理论基础的神经网络模型。基本思想是对于一个给定的神经网络，对于一个能量函数，这个能量函数是正比于每一个神经元的活动值和神经元之间的联接权。而活动值的改变算法是向能量函数减少的方向进行，一直达到一个极小值为止。证明了网络可达到稳定的离散和连续两种情况。３年后ATT等做出了半导体芯片。 ——神经网络复兴时期开始。 1986年美国的一个平行计算研究小组提出了前项反馈神经网络的Back Propagation（BP）学习算法。成为当今应用最广泛的方法之一。该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新的希望。 1987年在美国召开了第一届世界神经网络大会1000人参加。 IJCNN等大会 Neural Computing, IEEE Neural Network 等期刊 符号主义与连接主义 符号主义重视逻辑