人工神经网络理论设计及应用（ 第二版） 教学课件 作者 韩力群 编著 第二章基础知识.ppt

尚辅网 尚辅网 第二章 神经网络基础知识 生物神经元 人工神经元模型 人工神经网络模型 2.1人工神经网络的生物学基础 神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最小单元。 生物神经元 生物神经网络 2.1.1生物神经元 2.1.2 生物神经元的信息处理机理 2.1.2 生物神经元的信息处理机理 2.1.2 生物神经元的信息处理机理 2.1.3 生物神经网络 2.2神经元的人工模型 神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元 人工神经元(节点) 从三个方面进行模拟: 节点本身的信息处理能力 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 节点本身的信息处理能力(数学模型) 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 2.2.1神经元的建模 假设1：多输入单输出 假设2：输入类型：兴奋性和抑制性 生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。 假设3：空间整合特性和阈值特性 作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时, 神经元才被激活而发放脉冲, 否则神经元不会产生输出信号。 神经元的输出 图(d) 人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。 神经元模型示意图 2.2.2神经元的数学模型 2.2.2神经元的数学模型 2.2.3神经元的转移函数 神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。 2.2.3神经元的转移函数 2.2.3神经元的转移函数 2.2.3神经元的转移函数 2.2.3神经元的转移函数 节点本身的信息处理能力(数学模型) 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 2.3人工神经网络模型 分类： 按网络连接的拓扑结构分类 层次型结构 互连型网络结构 按网络内部的信息流向分类 前馈型网络 反馈型网络 2.3.1网络拓扑结构类型 ： 层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连。 互连型网络结构：网络中任意两个节点之间都可能存在连接路径. 2.3人工神经网络模型 2.3.1网络拓扑结构类型 2.3.2网络信息流向类型 前馈型网络 前馈:网络信息处理的方向是从输入层到各隐层再到输出层逐层进行 反馈型网络 在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。 2.3.2网络信息流向类型 节点本身的信息处理能力(数学模型) 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 2.4神经网络学习 学习的过程（权值调整的一般情况 ） 第二章小结 重点介绍了生物神经元的结构及其信息处理机制、人工神经元数理模型、常见的网络拓扑结构以及和学习规则。其中，神经元的数学模型、神经网络的连接方式以及神经网络的学习方式是决定神经网络信息处理性能的三大要素。 (1)生物神经元的信息处理 (2)人工神经元模型 (3)人工神经网络模型 (4)神经网络学习 尚辅网 层内有连接层次型结构 2.3.1网络拓扑结构类型 人工神经网络模型 尚辅网 全互连型结构 2.3.1网络拓扑结构类型 人工神经网络模型 尚辅网 局部互连型网络结构 2.3.1网络拓扑结构类型 人工神经网络模型 尚辅网 人工神经网络模型 尚辅网 前馈型网络 人工神经网络模型 尚辅网 反馈型网络 人工神经网络模型 2.3.2网络信息流向类型 尚辅网 神经网络学习 尚辅网 神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。 神经网络学习 尚辅网 神经网络的学习类型： 有导师学习(有监督学习) 无导师学习(无监督学习)