模式识别第11章人工神经网络以及在模式识别中应用.pptVIP

第11章 人工神经网络以及在模式识别中的应用Chapter 11: Artificial neural networks and its application in pattern recognition;本章主要内容;11.1 人工神经网络的发展历程 ;;11.1.2 人工神经网络研究的必要性;11.1.2 人工神经网络研究的必要性（续）;11.1.3 人工神经网络的研究历史;第三阶段：反思期（1969~1982年）;第五阶段：再认识与应用研究期（1991年~ ）;11.1.4 人工神经网络的研究范围;11.2 生物神经元的机理 ;胞体(Soma);11.2.2 生物神经元的工作机制;11.3 人工神经元的基本概念及学习算法 ;是构成人工神经网络的最基本单元,是对生物神经元的模拟，它具备生物神经元的部分特征。;11.3.1 人工神经元的基本概念（续）;11.3.1 人工神经元的基本概念（续）;11.3.1 人工神经元的基本概念（续）;;11.3.1 人工神经元的基本概念（续）;例题：;;11.3.2 人工神经元的学习规则;11.3.2 人工神经元的学习规则(续);11.3.3 用人工神经元进行两类样本分类;11.4 前馈神经网络的类型与拓扑结构 ;11.4.1 前馈神经网络的拓扑结构; 双层前馈网（感知器）不能解决异或问题。;感知器的学习算法;(3)计算各节点的实际输出yjp(t)=sgn[WjT(t)Xp], j=1,2, … , m.;已经得到证明,如果输入样本线性可分,无论感知器的初始权向量如何取值,经过有限次调整后,总能稳定到一个权向量,该权向量确定的超平面能将两类样本正确分开.;例. 单计算节点感知器有3个 输入,现给定3对训练样本:;第二步,输入X2;11.5 前馈神经网络的反向传播算法 ;Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 ;BP网络的标准学习算法;BP网络的标准学习算法-算法思想;BP网络的标准学习算法-学习过程;11.5.1 反向传播算法的难点与基本思路;11.5.2 反向传播算法的计算步骤;11.5.3 反向传播算法的推导过程;11.5.3 反向传播算法的推导过程（续）;11.5.3 反向传播算法的推导过程（续）;BP神经网络的特点;（1）多层前馈网的权值初值选择会影响收敛速度；;（3）多层前馈网要解决的问题越复杂，需要的隐层结点数越多；但过多的结点会导致“过学习”或者说“过拟合”，从而使网络的泛化能力变差。 ;过拟合：为了得到一致假设而使假设变得过度复杂称为过拟合。想像某种学习算法产生了一个过拟合的分类器，这个分类器能够百分之百的正确分类样本数据（即再拿样本中的文档来给它，它绝对不会分错），但也就为了能够对样本完全正确的分类，使得它的构造如此精细复杂，规则如此严格，以至于任何与样本数据稍有不同的文档它全都认为不属于这个类别！ ;泛化能力的定义 概括地说，所谓泛化能力（generalization ability）是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。 ? 泛化能力的性质 通常期望经训练样本训练的网络具有较强的泛化能力，也就是对新输入给出合理响应的能力。应当指出并非训练的次数越多越能得到正确的输入输出映射关系。网络的性能主要用它的泛化能力来衡量。 ;反向传播算法（BP）小结;11.6 径向基函数网络 ;径向基函数网络定义：;11.6.1 函数逼近问题;是基函数的中心 ;11.6.3 径向基函数网络待定参数的确定;11.7 神经网络在模式识别中的应用;11.7.1 用人工神经元对两类样本分类;11.7.2 用多层前馈神经网络对样本分类;docin/sanshengshiyuan doc88/sanshenglu