ANN讲义--02-神经网络基础.pptVIP

第二章 人工神经网络基础 主要内容： BN与AN； 拓扑结构； 存储； 训练 重点：AN；拓扑结构；训练 难点：训练 神经网络是模拟人脑信息处理的机制与特性，并由大量的处理单元（神经元）互相连接而成的网络。是对生物神经网络进行某种抽象、简化和模拟。 NN的信息处理：由神经元之间的相互作用来实现。 NN的知识与信息的存贮：表现为神经元之间互连分布式的物理联系。 NN的学习和识别：决定于各神经元连接权系数的动态化过程。 2.1 生物神经网络 1、构成 3、基本特征 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。 2.2 神经元的结构模型 神经元是构成神经网络的最基本单元（构件）。 人工神经元模型应该具有生物神经元的六个基本特性。 2.2.2 激活函数(Activation Function) 激活函数——执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数： o=f（net） 1、线性函数（Liner Function） 2、非线性斜面函数(Ramp Function) γ 3、阈值函数（Threshold Function）/阶跃函数 β if netθ f（net）= -γ if net≤θ β、γ、θ均为非负实数，θ为阈值 β 4、S形函数 （应用最多） 压缩函数（Squashing Function）和逻辑斯特函数（Logistic Function）。 f（net）=a+b/(1+exp(-d*net)) a，b，d为常数。它的饱和值为 a和 a+b。 见图a 最简单形式为： f（net）= 1/(1+exp(-d*net)) 函数的饱和值为 0 和 1 。 见图b 2.2.3 M-P模型 2.3.1 联接模式 用正号（“+”，可省略）表示传送来的信号起刺激作用，它用于增加神经元的活跃度； 用负号（“-”）表示传送来的信号起抑制作用，它用于降低神经元的活跃度。 层次（又称为“级”）的划分，导致了神经元之间的三种不同的互连模式： 1、层内联接/区域联接/侧联接 ——本层内神经元之间的联接。 作用：加强和完成层内神经元之间的竞争：联接权取正值时，组内加强；联接权取负值时，组内减弱（竞争）。 网络示意： ②、单级横向反馈网： 在简单单级网的输出层上加上侧联接时，便构成了单级横向反馈网。 V=（vij） NET=XW+OV O=F（NET） 时间参数——神经元的状态在主时钟的控制下同步变化 考虑X总加在网络上的情况 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1)) O（0）=0 考虑仅在t=0时加X的情况。 稳定性判定 2.4 存储与映射 1、信息的存储方式 神经网络的模式类型有 空间模式（Spatial Model）——指网络所有的神经元在某个时刻的状态所确定的神经网络的状态。 时空模式（Spatialtemporal Model）——指以时间作为轴来展开研究的空间模式系列。 目前，以研究空间模式为主。 按照信息存、取的方式，空间模式三种存储方式 ? RAM方式（Random Access Memory） 随机访问方式是将地址映射到数据。 ? CAM方式（Content Addressable Memory） 内容寻址方式是将数据映射到地址。 ? AM方式（Associative Memory） 相联存储方式是将数据映射到数据。 其中： 在学习/训练阶段 神经网络工作在CAM方式。将样本数据以各层神经元之间的连接权矩阵的稳定状态存放起来。权矩阵又被称为网络的长期存储（Long Term Memory，简记为LTM）。 2、神经网络信息的映射 自相联（Auto-associative）映射 设：训练网络的样本集向量集合为 {A1，A2，…，An} 在理想情况下，该网络在完成训练后，其权矩阵存放的将是上面所给的向量集合。此时的网络映射为自相联映射。 异相联（Hetero-associative）映射 设训练样本集为“向量对”组成的集合： {（A1，B1），（A2，