9神经网络.pptVIP

神经网络 生物神经元 人工神经元模型 人工神经网络模型 1、人工神经网络的生物学基础 神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最小单元。 生物神经元 生物神经网络 1.1生物神经元 1.2 生物神经元的信息处理机理 1.2 生物神经元的信息处理机理 1.2 生物神经元的信息处理机理 1.3 生物神经网络 2 神经元的人工模型 神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元 人工神经元(节点) 从三个方面进行模拟: 节点本身的信息处理能力 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 节点本身的信息处理能力(数学模型) 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 2.1神经元的建模 假设1：多输入单输出 假设2：输入类型：兴奋性和抑制性 生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。 假设3：空间整合特性和阈值特性 作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时, 神经元才被激活而发放脉冲, 否则神经元不会产生输出信号。 神经元的输出 图(d) 人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。 神经元模型示意图 2.2神经元的数学模型 2.2神经元的数学模型 2.3神经元的转移函数 神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。 2.3神经元的转移函数 2.3神经元的转移函数 2.3神经元的转移函数 2.3神经元的转移函数 节点本身的信息处理能力(数学模型) 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 2.3人工神经网络模型 分类： 按网络连接的拓扑结构分类 层次型结构 互连型网络结构 按网络内部的信息流向分类 前馈型网络 反馈型网络 3.1网络拓扑结构类型 ： 层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连。 互连型网络结构：网络中任意两个节点之间都可能存在连接路径. 3 人工神经网络模型 3.1网络拓扑结构类型 3.2网络信息流向类型 前馈型网络 前馈:网络信息处理的方向是从输入层到各隐层再到输出层逐层进行 反馈型网络 在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。 3.2网络信息流向类型 节点本身的信息处理能力(数学模型) 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 4 神经网络学习 有导师学习(有监督学习) 有导师学习也称为有监督学习，这种学习模式采用的是纠错规则。在学习训练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号”。将神经网络的实际输出同期望输出进行比较，当网络的输出与期望的教师信号不符时，根据差错的方向和大小按一定的规则调整权值。当网络对于各种给定的输入均能产生所期望的输出时，即认为网络已经在导师的训练下“学会”了训练数据集中包含的知识和规则，可以用来进行工作了。 无导师学习(无监督学习) 无导师学习也称为无监督学习，学习过程中，需要不断给网络提供动态输入信息，网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程称为网络的自组织，其结果是使网络能对属于同一类的模式进行自动分类。在这种学习模式中，网络的权值调整不取决于外来教师信号的影响，可以认为网络的学习评价标准隐含于网络的内部。 死记式学习 死记式学习是指网络事先设计成能记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。死记式学习中网络的权值一旦设计好了就不再变动，因此其学习是一次性的，而不是一个训练过程。 学习的过程（权值调整的一般情况 ） 小结