课件：D人工神经网络.ppt

小组讨论“Delta学习规则” 2.6 某神经网络采用双极性Sigmoid函数，学习率η=0.25，初始权向量W(0)=[1, 0, 1]T，两对输入样本为 X1=[2, 0, -1]T，d1=-1； X2=[1, -2, -1]T，d2=1。 试用δ学习规则进行训练，并写出前两步训练结果。 提示：双极性Sigmoid函数的导数为f’(net)=1/2*(1-o2) 解(续): （2）输入样本X2，计算净输入net2及输出o2，利用δ学习规则计算出权值调整量及权向量W(2)。 后面内容直接删除就行 资料可以编辑修改使用 资料可以编辑修改使用 主要经营：网络软件设计、图文设计制作、发布广告等 公司秉着以优质的服务对待每一位客户，做到让客户满意！ 致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求 * * * * 　　以上介绍的人工神经网络模型的分类方法、结构形式和信息流向只是对目前常见的网络结构的概括和抽象。 　　实际应用的神经网络，可能同时兼有其中一种或几种形式。例如，从连接形式看，层次型网络中可能出现局部的互连；从信息流向看，前馈网络中可能出现局部反馈。 　　神经网络的拓扑结构是决定神经网络特性的第二大要素，其特点可归纳为分布式存储记忆与分布式信息处理、高度互连性、高度并行性和结构可塑性。 2.4 神经网络学习 　　人工神经网络的功能特性由其连接的拓扑结构和突触连接强度，即连接权值决定。 　　神经网络的全体连接权值可用一个矩阵表示，其整体内容反映了神经网络对于所解决问题的知识存储。 　　神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是对可变权值的动态调整。 　　人工神经网络的学习方式是决定神经网络信息处理性能的第三大要素，因此有关学习的研究在神经网络研究中具有重要地位。 2.4 人工神经网络学习 　　改变权值的规则称为学习规则或学习算法（亦称训练规则或训练算法），如果只是单个处理单元，无论采用哪种学习规则进行调整，其算法都十分简单。但当大量处理单元集体进行权值调整时，网络就呈现出“智能”特性，其中有意义的信息就分布地存储在调整后的权值矩阵中。 　　神经网络的学习算法很多，根据一种广泛采用的分类方法，可将神经网络的学习算法归纳为三类： 　　一是有导师学习； 　　二为无导师学习； 　　三是死记式学习。 2.4 人工神经网络学习 　　1、有导师学习也称为有监督学习，这种学习模式采用的是纠错规则。 　　在学习训练过程中需要不断给网络成对地提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号”。 　　将神经网络的实际输出与期望输出进行比较，当网络的输出与期望的教师信号不符时，根据差错的方向和大小按一定的规则调整权值，以使网络的输出更接近期望的输出。 　　对于有导师学习，网络在执行工作任务之前必须先学习训练，当网络输入均能产生所期望的输出时，即认为网络已经在导师的训练下“学会”了训练数据集中包含的知识和规则，可以用来进行工作了。网络工作时，网络的权值不再调整。 2.4 人工神经网络学习 　　2、无导师学习也称为无监督学习。在学习过程中，需要不断地给网络提供动态输入信息。 　　网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程称为网络的自组织，其结果是使网络能对属于同一类的模式进行自动分类。 　　在这种学习模式中，网络的权值调整不取决于外来教师信号的影响，可以认为网络的学习评价标准隐含于网络的内部。 　　对于无导师学习，网络也是学习训练，后用来进行工作。网络工作时，网络的权值不再调整。 2.4 人工神经网络学习 　　有导师学习和无导师学习，哪种学习好了？ 　　在有导师学习中，提供给神经网络学习的外部指导信息越多，神经网络学会并掌握的知识越多，解决问题的能力也就超强。但是，有时神经网络所解决的问题的先验信息很少，甚至没有，这种情况下无导师学习就显得更有实际意义。 　　3、死记式学习是指网络事先设计成能记忆特定的例子，在使用时，当给定有关该例子的输入信息时，例子便被回忆起来。 　　在死记式学习中，网络的权值一旦设计好了就不再变动，因此其学习是一次性的(设计)，而不是一个训练过程。 2.4 人工神经网络学习 　　网络的运行一般分为训练和工作两个阶段。 　　训练的目的是为了从训练数据中提取隐含的知识和规律，并存储于网络中供工作阶段使用。 　　在训练时，可以认