P2神经网络原理2014研讨.ppt

第二部分 神经网络原理 参考书目 Simon Haykin 神经网络原理 机械工业出版社 孙增忻 智能控制理论与技术 清华大学出版社 李人厚 智能控制理论和方法 西安电子科技大学出版社 1 导言 一个神经网络是一个由简单处理单元构成的规模宏大的并行分布式处理器。天然具有存储经验知识并使之可用的特性。神经网络在两个方面与人相似： 1.神经网络获取的知识是从外界环境中学习得来的。 2.互联神经元的连接强度，即突触权值，用于储存获取的知识。 神经网络的其他名称 神经计算机 连接主义网络 并行分布式处理器 1.1 神经网络的发展历史 开创性的工作：McCulloch and Pitts (1943) 结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑演算。证明的这样构成的网络原则上可以计算任何可计算函数。 神经网络的发展历史 Wiener 1948年，Wiener的《Cybernetics》（控制论）出版。1961年第二版中添加了关于学习和自组织的内容。该书第2章抓住了统计力学的物理意义。 30多年后，Hopfield将统计力学和学习系统联系起来获得了丰硕的成果。 神经网络的发展历史 第2个重要发展：Hebb（1949） Hebb的著作《The Organization of Behavior》（行为组织学）地第一次清楚说明了突触修正的生理学习规则。 该书是学习系统和自适应系统的计算模型发展的灵感源泉。 神经网络的发展历史 Minsky 1954年，关于“神经网络”的博士论文。 1961年，论文“Steps Toward Artificial Intelligence” 1967年，《Computation: Finite and Infinite Machines》第一次以书的形式扩展了McCulloch 和 Pitts 的结果，并将它们置于自动机理论和计算理论的背景中。 神经网络的发展历史 Gabor 早期通信理论的先驱和全息照相的发明者。 1954年，Gabor提出了非线性自适应滤波器的思想。 1961年，通过把随机过程样本以及希望机器产生的目标函数一起提供给机器来完成学习。 神经网络的发展历史 联想记忆 1956，Taylor开始研究联想记忆。 1962，Steinbuch引入了学习矩阵。 1972，Anderson，Kohonen和Nakano同一年在外积学习规则的基础上独立地引入相关矩阵记忆的思想。 神经网络的发展历史 Von Neumann 20世纪前50年的科学巨匠。 卒于1957年。 1958年，手稿出版：《The Computer and the Brain》 利用冗余的思想解决了不可靠的神经元部件构建可靠的神经网络的问题 神经网络的发展历史 Rosenblatt 1958，提出了模式识别的新方法，一种有监督的学习方法。 1960，感知器收敛定理。 神经网络的发展历史 20世纪70年代 潜伏期 技术，经费，心理 神经网络的发展历史 20世纪80年代 1980，Grossberg建立的一个新的自组织原则—自适应共振理论。 1982，Hopfield提出了Hopfield网络。 1982，Kohonen使用一维或二维网格结构的自组织映射研究。 1983，Gelatt和Vecchi描述了解决组合最优化问题的模拟退火新方法。 神经网络的发展历史 20世纪80年代 1983，Barto，Sutton和Anderson关于增强式学习的论文发表。证明了增强式学习系统可以在没有帮助教师的情况下学习平衡倒立摆。 神经网络的发展历史 反向传播算法，1986 1986年，Rumelhart，Hinton and Williams报告了反向传播算法。 已成为最通用的多层感知器的训练算法。 神经网络的发展历史 后续的发展 1988，Linsker描述了认知网络中自组织的新原理。 1989，Mead的《Analog VLSI and Neural System》将神经生物学和VLSI的概念进行了独特的融合。 20世纪90年代，Vapnik发明了支持向量机，用于解决模式识别等问题。 1.2 神经元模型 人工神经元模型 神经元输入输出关系 阈值、偏置 突触权值、连接权系数 加法器，诱导局部域 激活函数、变换函数 人工神经元模型 人工神经元模型 神经元输入输出关系 激活函数的类型 激活函数的类型 Sigmoid函数 双曲正切函数 1.3 网格结构 单层前馈网络 多层前馈网络 递归网络 单层前馈网络 单层前馈网络 多层前馈网络 递归网络 递归网络 1.4 关于知识 知识就是人或机器储存起来以备使用的信息模型，用来对外部世界作出解释、预测和适当的反应。 知识表示的主要特征 1.什么信息是