人工神经网络模型汇总.ppt

第七讲 人工神经网络模型 随着人工神经网络应用研究酌不断深入，新的神经网络 模型不断推出。现有的神经网络棋型已达近百种。在智 能控制领域中，应用最多的是以下几种基本模型和它们 的改进型，即前向多层感知器(BP网络)、HopfteN网络， 自组织神经网络，动态递归网络，联想记忆网络(BAM) 等．神经网络的基本理论主要涉及到稳定性、学习算 法、动态性能等几个方面。神经网络的特点： 非线性 分布处理 学习并行和自适应 适用于多变量系统 神经网络的研究内容 1）神经元模型 2）神经网络结构 3）神经网络学习方法 人工神经元的基本构成 人工神经元模拟生物神经元的一阶特性。 输入：X=（x1，x2，…，xn） 联接权：W=（w1，w2，…，wn）T 网络输入： net=∑xiwi 向量形式： net=XW 激活函数与M-P模型 线性函数、非线性斜面函数、阈值函数 S形函数 M-P模型 M-P模型 3.1.3 人工神经网络的拓扑特性 连接的拓扑表示 1 联接模式 用正号（“+”，可省略）表示传送来的信号起刺激作用，它用于增加神经元的活跃度； 用负号（“-”）表示传送来的信号起抑制作用，它用于降低神经元的活跃度。 层次（又称为“级”）的划分，导致了神经元之间的三种不同的互连模式： 1 联接模式 1、 层（级）内联接 层内联接又叫做区域内（Intra-field）联接或侧联接（Lateral）。 用来加强和完成层内神经元之间的竞争 2、 循环联接 反馈信号。 1 联接模式 3、层（级）间联接 层间（Inter-field）联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递 前馈信号 反馈信号 2 网络的分层结构 单级网 简单单级网 简单单级网 简单单级网 W=（wij） 输出层的第j个神经元的网络输入记为netj： netj=x1w1j+x2w2j+…+xnwnj 其中, 1≤ j ≤ m。取 NET=（net1，net2，…，netm） NET=XW O=F（NET） 单级横向反馈网 单级横向反馈网 V=（vij） NET=XW+OV O=F（NET） 时间参数——神经元的状态在主时钟的控制下同步变化 考虑X总加在网上的情况 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1)) O（0）=0 考虑仅在t=0时加X的情况。 稳定性判定 多级网 层次划分 信号只被允许从较低层流向较高层。 层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。 输入层：被记作第0层。该层负责接收来自网络外部的信息 第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。 输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。 隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号 约定 : 输出层的层号为该网络的层数：n层网络，或n级网络。 第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。 多级网——h层网络 多级网 非线性激活函数 F(X)=kX+C F3(F2(F1(XW(1))W(2))W(3)) 循环网 循环网 如果将输出信号反馈到输入端,就可构成一个多层的循环网络。 输入的原始信号被逐步地“加强”、被“修复”。 大脑的短期记忆特征——看到的东西不是一下子就从脑海里消失的。 稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。 3 存储与映射 空间模式（Spatial Model） 时空模式（Spatialtemporal Model） 空间模式三种存储类型 1、? RAM方式（Random Access Memory） 随机访问方式是将地址映射到数据。 2、? CAM方式（Content Addressable Memory） 内容寻址方式是将数据映射到地址。 3、? AM方式（Associative Memory） 相联存储方式是将数据映射到数据。 3 存储与映射 后续的两种方式是人工神经网络的工作方式。 在学习/训练期间，人工神经网络以CAM方式工作；权矩阵又被称为网络的长期存储（Long Term Memory，简记为LTM）。 网络在正常工作阶段是以AM方式工作的；神经元的状态表示的模式为短期存储（Short Term Memory，简记为STM）。 4 人工神经网络的训练 人工神经网络最具有吸引力的特点是它的学习能力。 1962