人工神经网络 Artificial Neural Networks.ppt

智能科学Intelligence Science 史忠植 中国科学院计算技术研究所 / 目 录 1. 神经计算 2. 并行分布式理论框架 3. 交互与竞争神经网络 4. 误差反向传播神经网络 5. Hopfield神经网络 6. 自组织特征映射网络 7. 自适应共振理论 8. 脉冲耦合神经网络 神经网络 一个神经网络是由简单处理元构成的规模宏大的并行分布处理器。天然具有存储经验知识和使之可用的特性。 神经网络从两个方面上模拟大脑： ?神经网络获取的知识是从外界环境中学习得来的。 ?内部神经元的连接强度，即突触权值，用于储存获取的知识。 发展历史 萌芽期（20世纪40年代） 人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。 ?1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊《Bulletin of Methematical Biophysics》 ? 949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说——Hebb学习律。 发展历史 第一高潮期（1950~1968） ?以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。 ?可用电子线路模拟。 ?人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。 发展历史 反思期（1969~1982） ? M. L. Minsky和S. Papert，《Perceptron》，MIT Press，1969年 ?异或”运算不可表示 ?二十世纪70年代和80年代早期的研究结果 发展历史 第二高潮期（1983~1990） ? 1982年，J. Hopfield提出Hopfield网络 用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据 阐明了ANN与动力学的关系 用非线性动力学的方法来研究ANN的特性 指出信息被存放在网络中神经元的联接上 发展历史 第二高潮期（1983~1990） ? 1984年， J. Hopfield设计研制了后来被人们称为Hopfield网-Tank 电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。 ? 1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。 发展历史 ? 1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法——BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年） ?自适应共振理论（ART） ?自组织特征映射理论 发展历史 ? Hinton 等人最近提出了 Helmboltz 机 ? 徐雷提出的 Ying-Yang 机理论模型 ? 甘利俊一( S.Amari) 开创和发展的基于统计流形的方法应用于人工神经网络的研究, 国内首届神经网络大会是1990年12月在北京举行的。 并行分布式理论框架 并行分布式理论框架 PDP模型 1）? 一组处理单元（PE或AN） 2）? 处理单元的激活状态（ai） 3）? 每个处理单元的输出函数（fi） 4）? 处理单元之间的连接模式 5）? 传递规则（∑wijoi） 6）?把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi） 7）? 通过经验修改连接强度的学习规则 8）? 系统运行的环境（样本集合） 神经网络的维数 Various types of neurons Various network architectures Various learning algorithms Various applications 交互与竞争IAC神经网络 自组织神经网络的典型结构 竞争学习 竞争学习 竞争学习原理 竞争学习原理 竞争学习原理 竞争学习原理 前馈神经网络 单层感知器 单层感知器 单层感知器 单层感知器 单层感知器 多层感知器 多层感知器 多层感知器 多层感知器 多层感知器 多层感知器 误差反向传播（BP）网路 误差反向传播（BP）网路 误差反向传播（BP）网路 误差反向传播（BP）网路 BP学习算法 BP学习算法 BP学习算法 BP算法推导 BP算法的程序实现 BP算法的程序实现 多层前馈网(感知器)的主要能力 多层前馈网(感知器)的主要能力 BP算法