[超强,实用,珍贵]人工神经网络原理及其应用教程课件.pdfVIP

第01讲 绪论 · 以冯 诺依曼型计算机为中心的信息处理技 术的高速发展，使得计算机在当今的信息化社 会中起着十分重要的作用。但是，当用它来解 决某些人工智能问题时却遇到了很大的困难。 大脑是由生物神经元构成的巨型网络，它在 本质上不同于计算机，是一种大规模的并行处 理系统，它具有学习、联想记忆、综合等能 力，并有巧妙的信息处理方法。 ( ) 人工神经网络 简称神经网络 也是由大量的、 功能比较简单的形式神经元互相连接而构成的 复杂网络系统，用它可以模拟大脑的许多基本 功能和简单的思维方式。 1．1 神经网络的研究发展史 ． ． 第一次神经网络研究高潮 1 1 1 对大脑神经元的研究表明，当其处于兴奋状态 时，输出侧的轴突就会发出脉冲信号，每个神经元的 树状突起与来自其它神经元轴突的互相结合部 此结合 ( 部称为Synapse，即突触)接收由轴突传来的信号。如 果 神经元所接收到的信号的总和超过了它本身的 阈 — “ 值”，则该神经元就会处于兴奋状态，并向它后续连接 的神经元发出脉冲信号。 1943 W S McCulloch W Pitts 年， ． ． 和 ． 根据上述 研究发表了他们的神经元模型，通常称为MP 模型。 1949年，D.O.Hebb提出了神经元的学习法则，即 Hebb法则。 50 F Rosenblatt 年代末， ． 基于上述原理提出了一 种模式识别机，即感知机(Perceptron)模型。 感知机是现代神经计算的出发点。Block于 1962年用解析法证明了感知机的学习收敛定理。 正是由于这一定理的存在，才使得感知机的理 论具有实际的意义，并引发了60年代以感知机 为代表的第一次神经网络研究发展的高潮。 M．Minsky和S.Papert进一步发展了感知机的理论，他们 把感知机定义为一种逻辑函数的学习机。 B．Widraw在稍后于感知机一些时候提出了Adline分类学 习机。它在结构上与感知机相似，但在学习法则上采 用了最小二乘平均误差法。 年， ． ． 提出了能实现记忆和识别的神 1961 E R Caianiello 经网络模型，它由学习方程式和记忆方程式两部分组 成。 遗憾的是感知机只能对线性可分离的模式进行正确的分 类。当输入模式是线性不可分离时，则无论怎样调节 突触的结合强度和阂值的大小也不可能对输入进行正 确的分类。 1 1 2 ． ． 第二次神经网络研究高潮 1982年，美国物理学家Hopfield对神经网络 的动态特性进行了研究，提出了所谓Hopfield 神经网络模型。 以Rumelhart为首的PDP(Parallel Distributed Processing)并行分布处理研究集团对联结机制 (connectionist)进行了研究。 T J Sejnowski ． ． 等人还研究了神经网络语 音信息处理装置。 这些成功的研究对第二次神