第2章人工神经网络的基本模型解说.ppt

2006-5-9 北京科技大学 自动化系 * 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 学习过程就是调整权值的过程。 1、竞争学习 2、有监督学习 3、无监督学习 4、Hebb和Delta学习 5、有、无监督混合学习 6、随即自适应学习模拟退火 7、模糊学习 等等 几种常见类型学习算法： 2006-5-9 北京科技大学 自动化系 * 对于竞争学习规则，有三个基本元素： 1.一个神经元集合，这些神经元除了一些随机分布的突触权值之外是完全相同的，并且由于突触权值的不同而对一个给定的输入模式集合由不同的响应。 2.在每个神经元的强度上给定一个极限。 3.一个机制，它允许神经元为响应一个给定输入子集的权利而竞争，从而使得每次只有一个输出神经元或者每组只有一个神经元是激活的（即，“开”）.竞争获胜神经元被叫做胜者通吃（winner-takes-all）神经元。 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 竞争学习 2006-5-9 北京科技大学 自动化系 * 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 竞争学习 按照标准的竞争学习规则，作用于突触权值wkj的改变量 wkj定义为 获胜神经元k的输出信号yk被置为1；竞争失败的所有神经元的输出信号被置为0。我们有: 2006-5-9 北京科技大学 自动化系 * 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 有教师学习（称为监督学习） 神经网络的参数可以综合训练向量和反馈回的误差信号进行适当调整。 2006-5-9 北京科技大学 自动化系 * 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 如果我们能给定一个设计好的算法来使成本费用最小，而且有足够的输入/输出的数据集，那么有指导的学习系统往往可以较好地完成诸如模式分类，函数逼近之类的任务。 有教师学习（称为监督学习） 误差信号可以定义为：神经网络实际输出与预期响应之差。这种调节可以逐步而又不断反复地进行，其最终目的就是要让神经网络模拟老师——学习样本；从统计的角度来看，这种模拟是最优的。 2006-5-9 北京科技大学 自动化系 * 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 无教师学习模式中没有老师来监视学习过程的。即神经网络没有任何带标号的例子可以学习参考。这学习模式又分2类： 无教师学习（称为无监督学习） 加强学习/神经动态规划 2006-5-9 北京科技大学 自动化系 * 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 无教师学习（称为无监督学习） 无监督学习 在无监督或自组织学习系统中，不再有外在的老师或者评价来监督学习的过程。提供独立于任务的表示质量的度量，要求网络学习该度量而且参数将根据这个度量来逐步优化网络。 为了实际地使用无监督系统，我们可能会使用竞争性学习规则。 2006-5-9 北京科技大学 自动化系 * 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 学习任务 模式联想 存储阶段 回忆阶段 模式联想 x y 输入向量 输出向量 模式联想输入输出关系图 2006-5-9 北京科技大学 自动化系 * 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 学习任务 模式识别 模式识别将收到的模式或信号置以一个预先定义好的分类号。 识别机设计成一个采用监督学习算法的多层前馈网络。 特征抽取的非监督网络 分类的 监督网络 1 2 : r 输入模式x 特征向量y 模式分类的经典分类方法图解.  m维观察空间  g维特征空间  r维决策空间  2006-5-9 北京科技大学 自动化系 * 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 其中向量x 是输入，向量d 为输出。向量值函数 假定为未知。为了弥补 函数 未知的知识缺乏,我们假定有如下确定的训练样本集合: 考虑下面的一个非线性输入输出映射函数关系式： T={(xi,,di)}i=1N 对于所有的 是一个很小的正数. 其中 d = f(x) 学习任务——函数逼近 逼近问题其实是一个很完整的监督学习网络系统。其中xi是输入向量，而di是期望的反馈向量。反之，完全可以将监督学习网络系统看成是一个函数逼近问题。 2006-5-9 北京科技大学 自动化系 * 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 学习任务—