生物神经元的学习课件.pptxVIP

第1页/共48页生物神经元的学习课件第2页/共48页生物神经网络工作机理1在突触的接受侧，信号被送入胞体，在胞体内进行综合，有的信息起刺激作用，有的起抑制作用，当胞体中接受的累加刺激超过一个阈值时，胞体被激发，此时它沿轴突通过树突向其它神经元发出信号。第3页/共48页生物神经网络工作机理2一个神经元沿轴突通过树突发出的信号是相同的，而这个信号可能对接受它的不同神经元有不同的效果，这一效果主要有突触决定：突触的“联结强度”越大，接受的信号就越强，反之，就越弱。突触的“联结强度”可以随系统受到的训练而被改变。第4页/共48页生物神经元的六个基本特征1、神经元及其联结2、联结强度决定信号传递的强弱3、联结强度可以随训练而改变4、信号可以是刺激作用的，也可以是抑制的5、一个神经元接受的信号的累积效果决定 该神经元的状态6、每个神经元可以有一个“阈值”第5页/共48页神经网络的定义神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统它由处理单元及称为联结的无向信号通道互连而成第6页/共48页神经网络模拟人脑的四个方面1、物理结构：人脑神经细胞约1010~1011个2、计算模拟：大规模并行处理3、存储与操作：信息分布存放，容错、联想能力强4、训练：从实践中获取知识----学习算法第7页/共48页构造人工神经元的要求神经元是构成神经网络的最基本单元要构造神经网络必须先构造人工神经元人工神经元应是简单实现的数学模型人工神经元应该能模拟生物神经元的工作机理第8页/共48页人工神经元的构造方法对于每个神经元，它可以接受来自系统其他神经元的输入信号每个输入信号对应一个权，相当于突触的“联结强度”所有输入的加权和决定该神经元的激活状态第9页/共48页x1w1神经元网络输入：net=XWx2w2?net=?xiwiwnxnnet=XW人工神经元的网络输入1、设n个输入分别为x1 , x2 , … , xn，对应的权分别为 w1, w2, …, wn，即有输入向量和权向量：X=(x1 , x2 , … , xn)W=(w1, w2, …, wn)第10页/共48页x1w1o=f(net)x2w2net=XW?wnxn激活函数(激励函数、活化函数)每个生物神经元有一个阈值，当输入信号累加效果超过阈值时，神经元处于激活状态，否则处于抑制状态。希望人工神经元有一个更一般的变换函数，来执行该神经元获得的网络输入的变换，这就是激活函数。o=f(net)第11页/共48页激活函数的种类1、线性函数2、非线性斜面函数3、阈值函数，又称阶跃函数4、S型函数第12页/共48页onet0S型激活函数的特性1、非线性2、处处连续可导3、有较好的增益控制—防止网络进入饱和状态第13页/共48页人工神经元，M-P模型将基本模型和激活函数合在一起就构成了人工神经元这就是著名的McCulloch-Pitts模型，M-P模型也称处理单元PEx1w1o=f(net)x2w2net=XW?wnxn第14页/共48页人工神经网络的简化画法用节点代表神经元，加权有向边代表从神经元到神经元之间的有向联结，权代表联结强度，箭头代表信号的传递方向。第15页/共48页简单单级网输入层的神经元不对输入信号做任何处理，它们只起到对输入向量X的扇出作用。o1x1w11o2x2omxn简单单级网第16页/共48页w11w12w1m…权矩阵：W=(wij)=w21w22…w2mwn1…wn2wnm输入层第j个神经元的网络输入为：netj=x1w1j+x2w2j+…+xnwnj,从而有(net1net2netmNET=,…)简单单级网的输入输出O=F(NET)第17页/共48页x1o1...x2o2xnom多级网研究表明，单级网的功能是有限的，适当增加网络的层数是提高网络计算能力的一个途径。第18页/共48页多级网的几个约定输入层：只起到输入信号的扇出作用，不记入层数。第j层：第j-1层的直接后续层。输出层：网络的最后一层，具有最大层号， 负责输出网络的计算结果。隐藏层：网络输入层与输出层以外的层层数：网络输入层的层号第j-1层到第j层的联结矩阵称第j层联结矩阵，记W(j)第19页/共48页非线性激活函数非线性激活函数在多级网络中其着非常重要的作用。如果采用线性激活函数，则多级网的功能不会超过单级网的功能。第20页/共48页网络模式的概念所有的信息都是以模式的形式表现出来的。输入向量是模式；输出向量是模式；同层神经元的某一时刻的状态是模式；所有神经元的某一时刻的状态是模式；权矩阵及其所含的向量都是模式。第21页/共48页空间模式与时空模式网络在某一时刻的状态所确定模式称为空间模式以时间维为轴展开的空间模式系列称为时空模式他们如同一幅画面与整个电影的关系当研究稳定性和网络训练的收敛过程时涉及时空