第3章 人工神经网络.ppt

人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，是近年来高科技领域的一个研究热点。它的研究目标是通过研究人脑的组成机理和思维方式，探索人类智能的奥秘，进而通过模拟人脑的结构和工作模式，使机器具有类似人类的智能。它已在模式识别、机器学习、专家系统等多个方面得到应用，成为人工智能研究中的活跃领域。本章将简要介绍神经网络基本的概念、模型以及学习算法。 ;;3.1.1 生物神经元的结构与功能特性 1. 生物神经元的结构 神经细胞是构成神经系统的基本单元，称之为生物神经元，简称神经元。神经元在结构上由四部分构成： （1）细胞体;（2）轴突;（3）树突；（4）突触。 突触是神经元之间相互连接的接口部分，即一个神经元的神经末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢尾端。突触是轴突的终端。 ; 2. 神经元的功能特性 （1）时空整合功能。 （2）神经元的动态极化性。 （3）兴奋与抑制状态。 （4）结构的可塑性。 （5）脉冲与电位信号的转换。 （6）突触延期和不应期。 （7）学习、遗忘和疲劳。;3.1.2 人工神经网络的组成与神经元的模型 1. 人工神经网络的组成 人工神经网络（简称ANN）是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作人工神经元。 人工神经网络（ANN）可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是对轴突—突触—树突的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。 ;(1) 每个神经元都是一个多输入单输出的信息处理单元；;3.1 神经网络的基本概念及组成特性;3. 神经元的数学模型;(3.3);(3.5);4. 神经元的转移函数;(2)非线性转移函数;(3)分段线性转移函数;(4)概率型转移函数;人工神经元－信息处理单元;人工神经元－信息处理单元;人工神经元－信息处理单元;人工神经元－信息处理单元;人工神经元－信息处理单元;人工神经元－信息处理单元;1 网络拓扑结构类型 ——层次型结构;1 网络拓扑结构类型 ——层次型结构 ;1 网络拓扑结构类型 ——层次型结构 ;1网络拓扑结构类型 ——互连型结构;1 网络拓扑结构类型 ——互连型结构 ;2 网络信息流向类型;2 网络信息流向类型;3.1.4 人工神经网络的分类及其主要特征 分类 按性能分：连续型和离散型网络，或确定型和随机型网络。 按拓扑结构分：有反馈网络和无反馈网络。 按学习方法分：有教师的学习网络和无教师的学习网络。 按连接突触性质分：一阶线性关联网络和高阶非线性关联网络。; 人工神经网络具有以下主要特征： （1）能较好的模拟人的形象思维。 （2）具有大规模并行协同处理能力。 （3）具有较强的学习能力。 （4）具有较强的容错能力和联想能力。 （5）是一个大规模自组织、自适应的非线性动力系统。 ;3.1.5 人工神经网络研究的兴起与发展 人工神经网络的研究经历了不少的曲折，大体上可分为四个阶段: 产生时期(20世纪50年代中期之前) 高潮时期(20世纪50年代中期到20世纪60年代末期) 低潮时期(20世纪60年代末到20世纪80年代初期) 蓬勃发展时期(20世纪80年代以后) ;3.1.5 神经网络学习;神经网络的学习类型：;3.2.1 感知器模型 感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。 Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。 ;3.2.2 单层感知器模型的学习算法 算法思想：首先把连接权和阈值初始化为较小的非零随机数，然后把有n个连接权值的输入送入网络，经加权运算处理，得到的输出如果与所期望的输出有较大的差别，就对连接权值参数按照某种算法进行自动调整，经过多次反复，直到所得到的输出与所期望的输出间的差别满足要求为止。 为简单起见，仅考虑只有一个输出的简单情况。设xi(t)是时刻t感知器的输入（i=1,2,......,n），ωi(t)是相应的连接权值，y(t)是实际的输出，d(t)是所期望的输出，且感知器的输出或者为1，或者为0，则单层感知器的学习算法请参见教材P25;3.2.3 线性不可分问题 单层感知器不能表达的问题被称为线性不可分问题。 1969年，明斯基证明了“异或”问题是线性不可