人工神经网络基础教学课件.pptVIP

5 高斯函数 反映出高斯函数的宽度 6 双曲正切函数 众所周知，神经网络强大的计算功能是通过神经元的互连而达到的。根据神经元的拓扑结构形式不同，神经网络可分成以下两大类： 4、人工神经网络的典型结构 目前，神经网络模型的种类比较多，已有近40余种神经网络模型，其中典型的有BP网络、Hopfield网络、CMAC小脑模型、ART自适应共振理论和Blotzman机网络等 1 层次型神经网络 （1）前向神经网络 神经元分层排列，顺序连接。由输入层施加输入信息，通过中间各层，加权后传递到输出层后输出。每层的神经元只接受前一层神经元的输入，各神经元之间不存在反馈。 （2）层内有互联的前向神经网络 在前向神经网络中有的在同一层中的各神经元相互有连接,通过层内神经元的相互结合，可以实现同一层内神经元之间的横向抑制或兴奋机制，这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。 1 层次型神经网络 （3）有反馈的前向神经网络 在层次网络结构中，只在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种模式可用来存储某种模式序列，如神经认知机即属于此类，也可以用于动态时间序列过程的神经网络建模。 1 层次型神经网络 2 互联型神经网络 在互连网络模型中，任意两个神经元之间都可能有相互连接的关系。其中，有的神经元之间是双向的，有的是单向的。 Hopfield网络、Boltzman机网络属于这一类。 2 互联型神经网络 在无反馈的前向网络中，信号一旦通过某个神经元，过程就结束了。而在互连网络中，信号要在神经元之间反复往返传递，神经网络处在一种不断改变状态的动态之中。从某个初始状态开始，经过若干次的变化，才会到达某种平衡状态，根据神经网络的结构和神经元的特性，还有可能进入周期振荡或其它如浑沌等平衡状态。 2、神经网络的学习规则 联想式学习 — Hebb学习规则 误差纠正式学习——Delta (δ)学习规则 三 神经网络的基本学习方式和学习规则 1 、神经网络的学习方式 有监督（误差校正）学习方式 无监督学习方式 人工神经网络连接权的确定通常有两种方法 根据具体要求，直接计算，如Hopfield网络作优化计算 通过学习得到的。大多数人工神经网络都采用这种方法 学习是改变各神经元连接权值的有效方法，也是体现人工神经网络智能特性最主要的标志。离开了学习，神经网络就失去了诱人的自适应、自组织能力 学习方法是人工神经网络研究中的核心问题 三 神经网络的基本学习方式和学习规则 * 相当于做作业，一个有老师教，一个自己摸索 人工神经网络概述 前向多层网络 自组织特征映射网络（SOFM） 一 人工神经网络发展 二 生物学基础 三 人工神经网络结构 四 神经网络基本学习算法 人工神经网络概述 一 人工神经网络发展 最早的研究可以追溯到20世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型。这一模型一般被简称M-P神经网络模型，至今仍在应用，可以说，人工神经网络的研究时代，就由此开始了。 1949年，心理学家Hebb提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为Hebb规则，许多人工神经网络的学习还遵循这一规则。 1957年，F.Rosenblatt提出“感知器”(Perceptron) 模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。 1969年，人工智能学者专著《感知机》的发表，从数学上严格论证了简单的线性感知机不能解决“异或”（XOR）问题。同时也指出如果在感知器中引入隐含神经元，增加神经网络的层次，可以提高神经网络的处理能力，但是却无法给出相应的网络学习算法。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。 一 人工神经网络发展 1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。 1986年，Rumelhart和Meclelland提出多层网络的误差反传(back propagation)学习算法，简称BP算法。解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。 一 人工神经网络发展 自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。 一 人工神经网络发展 神经网络研究的两大派