第六讲 神经网络课件.ppt

第六章 人工神经元计算方法;一、引例 ;问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80); (l.28，1.84)；（1.40，2.04）．问它们应分别属于哪一个种类？ ;思路：作一直线将两类飞蠓分开 ;分类结果：(1.24，1.80)，(1.28，1.84)属于Af类；(1.40，2.04）属于 Apf类．;?缺陷：根据什么原则确定分类直线？ ;再如，如下的情形已经不能用分类直线的办法： ;二、人工神经网络的生物学基础;二、人工神经网络的生物学基础;二、人工神经网络的生物学基础;二、人工神经网络的生物学基础;二、人工神经网络的生物学基础;二、人工神经网络的生物学基础;二、人工神经网络的生物学基础;二、人工神经网络的生物学基础; 人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，是近年来高科技领域的一个研究热点。它的研究目标是通过研究人脑的组成机理和思维方式，探索人类智能的奥秘，进而通过模拟人脑的结构和工作模式，使机器具有类似人类的智能。它已在模式识别、机器学习、专家系统等多个方面得到应用，成为人工智能研究中的活跃领域。;人工神经网络研究的兴起与发展;神经网络的作用;神经元的人工模型;神经元的人工模型;人工神经元的工作过程 对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi, i=0,1,…,n-1, 。那么本处理单元（神经元）的输入为;神经元的传递函数;神经元的传递函数;神经元的传递函数;(4) 概率型转移函数;人工神经元－信息处理单元;人工神经元－信息处理单元;人工神经元－信息处理单元;人工神经元－信息处理单元;人工神经元－信息处理单元;人工神经元－信息处理单元;人工神经网络的分类;人工神经网络的基本特点 ;网络拓扑结构类型 ——层次型结构;网络拓扑结构类型 ——层次型结构;网络拓扑结构类型 ——层次型结构;网络拓扑结构类型 ——互连型结构;网络拓扑结构类型 ——互连型结构;网络信息流向类型;网络信息流向类型;神经网络学习; 神经网络的学习类型：;神经网络学习;反向传播模型及其网络结构 反向传播模型也称B-P模型，是一种用于前向多层的反向传播学习算法。之所以称它是一种学习方法，是因为用它可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能够将输入它的信息变换成所期望的输出信息。之所以将其称作为反向学习算法，是因为在修改各人工神经元的连接权值时，所依据的是该网络的实际输出与其期望的输出之差，将这一差值反向一层一层的向回传播，来决定连接权值的修改。 ;B-P算法的网络结构是一个前向多层网络，如图所示。 ;;反向传播网络的学习算法 B-P算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。 学习过程由正向传播和反向传播组成。 正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果。 反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到的输出能达到期望的误差要求。;B-P算法的学习过程如下： （1）选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成。 （2）从训练样例集中取一样例，把输入信息输入到网络中。 （3）分别计算经神经元处理后的各层节点的输出。 （4）计算网络的实际输出和期望输出的误差。 （5）从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值。 （6）对训练样例集中的每一个样例重复（3）—（5）的步骤，直到对整个训练样例集的误差达到要求时为止。; 在以上的学习过程中，第（5）步是最重要的，如何确定一种调整连接权值的原则，使误差沿着减小的方向发展，是B-P学习算法必须解决的问题。;B-P算法的优缺点： 优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前向多层网络较好的算法。 缺点： （1）该学习算法的收敛速度慢；（2）网络中隐节点个数的选取尚无理论上的指导；（3）从数学角度看，B-P算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。所以B-P算法是不完备的。;简单网络的B-P算法;误差反向传播;;;五、应用举例1;应用举例1;应用举例1