神经网络基础要点.pptVIP

神经网络基础 生物神经元及其神经网 构成 生物神经网的基本特征 1神经元及其联接 2神经元之间的联接强弱决定信号传递的强弱 3神经元之间的联接强弱是可以随训练改变的 4信号可以是起刺激作用,也可以是起抑制作用 5一个神经元接受信号的累积效果决定该神经元的状态 6每个神经元可以有一个”阈值” 人工神经元 1神经元是构成神经网络的最基本单元 2人工神经元模型应该具有生物神经元的六个基本特性 3人工神经元并不能完全模拟生物神经元,只能模拟其很小一部分功能 人工神经元的基本构成 人工神经元模拟生物神经元的一阶特性 ￡输入：X=(x1,x2,…,xn) ￡联接权重：W=(w1,w2,…wn) ￡网络输入：net=?xiwi ￡向量形式：net=XW 激活函数(Activation Function) 激活函数——执行对该神经元所获得的网络 输入的变换，也可以称为激励函数、活化函 数：o=f(net) 1线性函数 2非线性斜面函数 ?0为一常数，被称为饱和值，为该神经元的 最大输出 3阈值函数(阶跃函数) 4S形函数 M-P模型 McCulloch-Pitts(M-P)模型也称为处理单元 人工神经网络的拓扑特性 联接的拓扑表示 联接模式 1用正好(“+”，可省略)表示传递送来的信号起 刺激作用，它用于增加神经元的活跃度； 2用正好(“－”，可省略)表示传递送来的信号 起抑制作用，它用于降低神经元的活跃度； 3层次(又称为“级”)的划分，导致了神经元之 间的三种不同的互联模式： a层(级)内联接 ￡层内联接又叫做区域内联接或侧联接。 ￡用来加强和完成层内神经元之间的竞争 b循环联接 ￡反馈信号 c层(级)间联接 ￡层间联接指不同层中的神经元之间的联 接。这种联接用来实现层间的信号传递 ￡前馈信号 ￡反馈信号 网络的分层结构 单级网 ￥简单单级网 单级横向反馈网 多级网 ＠层次划分 ￡信号只被允许从较低层流较高层 ￡层号确定层的高低：层号较小者，层次 较低，层号较大者，层次较高。 ￡输入层：被记作第0层。该层负责接收来 自网络外部的信息 ￡第j层：第j-1层的直接后继层(j0)，它直 接接受第j-1层的输出。 ￡输出层：它是网络的最后一层，具有该 网络的最大层号，负责输入网络的计算 结果。 ￡隐藏层：除输入层和输出层外的其它各 层叫隐藏层。隐藏层不直接接受外界的 信号，也不直接向外界发送信号。 ＠约定 ￡输出层的层号为该网络的层数：n层网络 或n级网络。 ￡第j-1层到第j层的联接矩阵为第j层联接矩 阵，输出层对应的矩阵叫输出层的联接矩 阵。今后，在需要的时候，一般我们用 W(j)表示第j层矩阵 循环网 ￡如果将输出信号反馈到输入端，就可以构成一个多层的循环网络。 ￡输入的原始信号被逐步“加强”、被“修复”。 ￡大脑的短期记忆特征——看到的东西不是一下子就从脑海里消失的。 ￡稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。 存储与映射 ＠存储类型： 1 RAM方式：随机访问方式是将地址映射到数据。 2 CAM方式：内容寻址方式是将数据映射到地址。 3 AM方式：相联存储方式是将数据映射到数据。 ＠后两种方式是人工神经网络的工作方式。 ＠在学习/训练期间，人工神经网络以CAM方式工作；权重矩阵又被称为网络的长期存储。 ＠网络在正常工作阶段是以AM方式工作的；神经元的状态表示的模式为短期存储。 映射类型： ＠自相联映射：训练网络的样本集为向量集合{A1,A2,…,An}。在理想情况下，该网络在完成训练后，其权重矩阵存放的将是上面所给的向量集合。 ＠异相联映射： {(A1,B1),(A2,B2),…,(An,Bn)}该网络在完成训练后，其权重矩阵存放的将是上面所给的向量集合所蕴含的对应关系。当输入向量A不是样本的第一分量时，样本中存在这样的元素(Ak,Bk)，使得 Ai?Ak?A或A?Ak?Aj 且此时有Ai?Ak?Aj，则向量Bk是Bi与Bj的插值。 人工神经网络的训练 ? 人工神经网络最具吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 人工神经网络