生物神经元与人工神经元模型 - 北京科技大学自动化学院.ppt

2006-5-9 北京科技大学 自动化系 对称型阶跃函数 非线性作用函数2 对称型Sigmoid函数 非线性作用函数4 对称型阶跃函数 非线性作用函数 非线性作用函数6 B样条函数（０次） 非线性作用函数 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 学习过程就是调整权值的过程。 1、竞争学习 2、有监督学习 3、无监督学习 4、Hebb和Delta学习 5、有、无监督混合学习 6、随即自适应学习模拟退火 7、模糊学习 等等 几种常见类型学习算法： 对于竞争学习规则，有三个基本元素： 1.一个神经元集合，这些神经元除了一些随机分布的突触权值之外是完全相同的，并且由于突触权值的不同而对一个给定的输入模式集合由不同的响应。 2.在每个神经元的强度上给定一个极限。 3.一个机制，它允许神经元为响应一个给定输入子集的权利而竞争，从而使得每次只有一个输出神经元或者每组只有一个神经元是激活的（即，“开”）.竞争获胜神经元被叫做胜者通吃（winner-takes-all）神经元。 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 竞争学习 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 竞争学习 按照标准的竞争学习规则，作用于突触权值wkj的改变量 wkj定义为 获胜神经元k的输出信号yk被置为1；竞争失败的所有神经元的输出信号被置为0。我们有: 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 有教师学习（称为监督学习） 神经网络的参数可以综合训练向量和反馈回的误差信号进行适当调整。 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 如果我们能给定一个设计好的算法来使成本费用最小，而且有足够的输入/输出的数据集，那么有指导的学习系统往往可以较好地完成诸如模式分类，函数逼近之类的任务。 有教师学习（称为监督学习） 误差信号可以定义为：神经网络实际输出与预期响应之差。这种调节可以逐步而又不断反复地进行，其最终目的就是要让神经网络模拟老师——学习样本；从统计的角度来看，这种模拟是最优的。 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 无教师学习模式中没有老师来监视学习过程的。即神经网络没有任何带标号的例子可以学习参考。这学习模式又分2类： 无教师学习（称为无监督学习） 加强学习/神经动态规划 * 第二章 人工神经网络的基本模型 北京科技大学 信息工程学院 付冬梅 fdm2003@163.com 第二章 人工神经网络的基本模型 人工神经元的基本模型 几种典型的激活函数 人工神经网络的学习算法概述 人工神经网络的基本拓扑结构 生物神经元结构 （1）细胞体: 细胞核、细胞质和细胞膜。（2）树突：胞体短而多分枝的突起。相当于神经元的输入端。（3）轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末稍传出神经冲动。（4）突触：神经元间的连接接口，每个神经元约有1万～10万个突触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为结构的可塑性。（5）细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后，能 产生兴奋与抑制。 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型 生物神经元结构 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型 生物神经元功能 （1）兴奋与抑制：当传入神经元冲动，经整和使细胞 膜电位升高，超过动作电位的阈值时，为兴奋状 态，产生神经冲动，由轴突经神经末稍传出。 当传入神经元的冲动，经整和，使细胞膜电 位降低，低于阈值时，为抑制状态，不产生神经 冲动。 （2）学习与遗忘：由于神经元结构的可塑性，突触的 传递作用可增强与减弱，因此，神经元具有学习 与遗忘的功能。 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型 人工神经元的六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用，也可以是起抑制作用； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。 神经元是构成神经网络的最基本单元（构件）。 人工神