人工神经网络理论及应用课件第3章感知器神经网络.pptxVIP

第3章 感知器神经网络;3 感知器神经网络 ;感知器（一个简单的学习者）;3.1单层感知器;3.1.1感知器模型;;单层感知器模型的数学表示： 输出信号：;3.1单层感知器;3.1.2感知器的功能;分三种情况讨论（空间维数的变化） （1）二维空间 （2）三维空间 （3）n维空间 小结 例子 例一：实现逻辑“与”功能 例二：实现逻辑“或”功能;（1）输入是二维;感知器的作用（二维）;（2）输入是三维;（3）输入是n维;小结;例一 用感知器实现逻辑“与”功能;例一 用感知器实现逻辑“与”功能;求解??值的第二种方法：先列写方程，再求方程参数;例二 用感知器实现逻辑“或”功能;例二 用感知器实现逻辑“或”功能;思考并回答;3.1单层感知器;3.1.3感知器的局限性;3.1.3感知器的局限性;3.1单层感知器;3.1.4感知器的学习（第三种求取权值的方法）;3.1.4感知器的学习;3.1.4感知器的学习算法;;Perceptron Rule;;;;;;感知器学习规则的训练步骤：;感知器学习规则的训练步骤：;感知器学习规则的训练步骤：;例3.2：单计算节点感知器的训练;;;第三步 输入X3，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1 O3(2)=sgn(-2.1)=-1;3 感知器神经网络 ;3.2多层感知器;（1）多层感知器的提出;（2）多层感知器的功能;例3.3 用多层感知器解决“异或”问题;;多层感知器的分类边界;多层感知器的分类边界;有不同隐层的感知器比较;（3）感知器的局限性;总结;思考题;Perceptron Classification;;;;;3 感知器神经网络 ;3.3自适应线性单元（ADALINE）简介;3.3.1 ADALINE模型;3.3.1 ADALINE模型;根据第二章的(2.24a)，考虑到单节点情况，权向量调整量省略下标后可表达为 ;;3.3BP算法及改进－主要内容;引言－－BP算法的提出;3.4基于BP算法的多层前馈网络模型;;各层变量之间的关系;转移函数;BP算法的实现;神经网络的学习;BP算法的基本思想;BP算法的学习过程;关键问题;BP算法的推导;BP算法的推导;;建立各层连接权值与误差E之间的关系;进一步展开至输入层： ;建立权值变化量与误差之间的关系;输出层与隐层之间的连接权值调整;?o的展开公式;BP学习算法权值调整计算公式为：;输入层与隐层之间的连接权值调整;?y的展开公式;?y的展开公式;BP学习算法权值调整计算公式为：;;BP算法的程序实现;;;;误差曲面的分布－－BP算法的局限性;曲面分布特点1：存在平坦区域;存在平坦区域的原因分析;曲面分布特点2：存在多个极小点 ;曲面分布特点2：存在多个极小点;标准BP算法的改进－－引言;标准的BP算法内在的缺陷：;3.5标准BP算法的改进;改进1 ：增加动量项;改进1 ：增加动量项;改进2：自适应调节学习率;改进2：自适应调节学习率;改进3： 引入陡度因子;改进3： 引入陡度因子;改进3： 引入陡度因子;总结;3.6基于BP算法的多层感知器设计基础;1 输出量的选择;输入量的选择;输入输出量的性质;2. 输入量的提取与表示;;;3. 输出量的表示;二、输入输出数据的归一化;进行归一化的主要原因：;归一化的方法：;三、网络训练与测试; 在隐节点数一定的情况下，为获得好的泛化能力，存在着一个最佳训练次数。;实践中的问题;隐层节点数为5个，比较不同训练样本下的输出结果无校验集;隐层节点数为20个，比较不同训练样本下的输出结果无校验集;;;5隐层节点数，噪声，无校验;20隐层节点数，噪声，无校验;5隐层节点数，噪声，有校验;