[教育]第三章神经网络优化计算.pptVIP

第三章 神经网络优化计算 3.1 人工神经网络的基本概念 3.1.1 发展历史 3.1.2 生物神经元 3.1.2 人工神经元 3.1.3 网络结构的确定 3.1.4 人工神经网络的学习方法 3.2 多层前向神经网络 3.2.1 感知器及其算法 3.2.2 反向传播算法-BP算法 3.3 自组织神经网络 3.3.1 竞争学习的概念与原理 3.3.2 自组织特征映射神经网络 3.4 反馈型神经网络 3.4.1 离散Hopfield神经网络 3.4.2 连续Hopfield神经网络 3.4.3 Hopfield神经网络在TSP中的应用 3.1 人工神经网络的基本概念 神经元是大脑处理信息的基本单元 人脑大约由1011个神经元组成，神经元互相连接成神经网络 神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干 主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成 1、构成 突触的信息处理 生物神经元传递信息的过程为多输入、单输出 神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质 突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位 3、六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。 直观理解 神经网络是一个并行和分布式的信息处理网络结构 它一般由大量神经元组成 每个神经元只有一个输出，可以连接到很多其他的神经元 每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数 神经元是构成神经网络的最基本单元（构件）。 人工神经元模型应该具有生物神经元的六个基本特性。 人工神经元模拟生物神经元的一阶特性。 输入：X=（x1，x2，…，xn） 联接权：W=（w1，w2，…，wn）T 网络输入： net=∑xiwi 向量形式： net=XW 3.1 人工神经网络的基本概念 连接的拓扑表示 联接模式 用正号（“+”，可省略）表示传送来的信号起刺激作用，它用于增加神经元的活跃度； 用负号（“-”）表示传送来的信号起抑制作用，它用于降低神经元的活跃度。 层次（又称为“级”）的划分，导致了神经元之间的三种不同的互连模式： 1、 层（级）内联接 层内联接又叫做区域内（Intra-field）联接或侧联接（Lateral）。 用来加强和完成层内神经元之间的竞争 2、 循环联接 反馈信号。 3、层（级）间联接 层间（Inter-field）联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递 前馈信号 反馈信号 单级网 简单单级网 单级横向反馈网 多级网 层次划分 信号只被允许从较低层流向较高层。 层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。 输入层：被记作第0层。该层负责接收来自网络外部的信息 第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。 输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。 隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号 约定 : 输出层的层号为该网络的层数：n层网络，或n级网络。 第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。 多级网—n层网络 循环网 循环网 如果将输出信号反馈到输入端,就可构成一个多层的循环网络。 输入的原始信号被逐步地“加强”、被“修复”。 大脑的短期记忆特征——看到的东西不是一下子就从脑海里消失的。 稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。 3.1 人工神经网络的基本概念 人工神经网络最具有吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 人工神经网络的表达能力大大地限制了它的学习能力。 人工神经网络的学习过程就是