[误差反向传播.docVIP

误差反向传播（Error Back Propagation, BP）算法 　　1、BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。 　　1）正向传播：输入样本－输入层－各隐层（处理）－输出层 　　注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程） 　　2）误差反向传播：输出误差（某种形式）－隐层（逐层）－输入层 　　其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。 　　注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。 　　2、BP算法实现步骤（软件）： 　　1）初始化 　　2）输入训练样本对，计算各层输出 　　3）计算网络输出误差 　　4）计算各层误差信号 　　5）调整各层权值 　　6）检查网络总误差是否达到精度要求 　　满足，则训练结束；不满足，则返回步骤2） 　　3、多层感知器（基于BP算法）的主要能力： 　　1）非线性映射：足够多样本－学习训练 　　能学习和存储大量输入－输出模式映射关系。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 　　2）泛化：输入新样本（训练是未有）－完成正确的输入、输出映射 　　3）容错：个别样本误差不能左右对权矩阵的调整 　　4、标准BP算法的缺陷： 　　1）易形成局部极小（属贪婪算法，局部最优)而得不到全局最优； 　　2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算）； 　　3）隐节点的选取缺乏理论支持； 　　4）训练时学习新样本有遗忘旧样本趋势。 　　注3：改进算法—增加动量项、自适应调整学习速率（这个似乎不错)及引入陡度因子 　　BP算法基本介绍 　　含有隐层的多层前馈网络能大大提高神经网络的分类能力，但长期以来没有提出解决权值调整问题的游戏算法。1986年，Rumelhart和McCelland领导的科学家小组在《Parallel Distributed Processing》一书中，对具有非线性连续转移函数的多层前馈网络的误差反向传播（Error Back Proragation，简称BP）算法进行了详尽的分析，实现了Minsky关于多层网络的设想。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。 　　BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传人，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。 　　5,BP算法的网络结构示意图 　　 ?? ?? BP算法 输入、输出层各3节点，隐层要多少节点合适？ 悬赏分：0 - 解决时间：2010-5-2 15:16 对下面九种模式实现正确的分类： 第一类输入样本(3/4, 1/8), (1/4, 1/4), (3/4, 3/4), 对于第一类样本对应的期望输出为（1；-1；-1） 第二类输入样本(1/2, 1/8), (3/4, 1/4), (1/4, 3/4), 对于第一类样本对应的期望输出为（-1；1；-1） 第三类输入样本(1/4, 1/2), (1/2, 1/2), (3/4, 1/2), 对于第一类样本对应的期望输出为（-1；-1；1） 提问者： dingyong198608 - 一级 最佳答案 可以使用试凑法，采用公式m=sqrt(n+l）+a，其中m为隐层结点数，n为输入层结点数，l为输出层结点数，a为1－5之间的常数。 ?2 编辑本段 摘 要 　　ＢＰ神经网络算法是在ＢＰ神经网络现有算法的基础上提出的，是通过任意选定一组权值，将给定的目标输出直接作为线性方程的代数和来建立线性方程组，解得待求权，不存在传统方法的局部极小及收敛速度慢的问题，且更易理解。 编辑本段 关键词 固定权值ｇａｕｓｓ消元法；ＢＰ算法 　　人工神经网络（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ＡＮＮ）系统是２０世纪４０年代后出现的，它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织