第六章人工神经网络课题.ppt

* 设η=0.5，则对权值的修正为： ΔW17=ηErr7O1=0.5*0.0035*1=0.0018 ΔW27 =0.5*0.0035*0=0 ΔW37 =0.5*0.0035*1=0.0018 ΔW47 =0.5*0.0035*1=0.0018 ΔW57 =0.5*0.0035*0=0 ΔW67 =0.5*0.0035*0=0 Δwij=ηErrjOi wij=wij+Δwij * W17=W17+ΔW17=0.25+0.0018=0.2518 W27= 0.1+0=0.1 W37= 0.2+0.0018=0.2018 W47= 0.3+0.0018=0.3018 W57= 0.4+0=0.4 W67= 0.5+0=0.5 Δwij=ηErrjOi wij=wij+Δwij * ΔW18=ηErr8O1=0.5*0.0013*1=0.0007 ΔW28=0.5*0.0013*0=0 ΔW38=0.5*0.0013*1=0.0007 ΔW48=0.5*0.0013*1=0.0007 ΔW58=0.5*0.0013*0=0 ΔW68=0.5*0.0013*0=0 * W18=W18+ΔW18=-0.2+0.0007=-0.1993 W28= -0.1+0=-0.1 W38= -0.15+0.0007=-0.1493 W48= 0.2+0.0007=0.2007 W58= 0.3+0=0.3 W68= 0.1+0=0.1 * ΔW79=ηErr9O7=0.5*0.102*0.657=0.0335 ΔW89=ηErr9O8=0.5*0.102*0.55=0.0281 W79=W79+ΔW79=0.15+0.0335=0.1835 W89=W89+ΔW89=0.05+0.0289=0.0789 * 对阈值的修正为： Δθ7=ηErr7=0.5*0.0035=0.0018 Δθ8=ηErr8=0.5*0.0013=0.0007 Δθ9=ηErr9=0.5*0.102=0.051 θ7=θ7+Δθ7=0.1+0.0018=0.1018 θ8=θ8+Δθ8=0.5+0.0007=0.5007 θ9=θ9+Δθ9=-0.2+0.051=-0.149 * （4）BP算法的终止条件 重复次数超过指定的周期数。 对于此题，即输入一百个样本，重复上述计算，对权值和阈值进行训练，当一百个样本输入完毕后，网络中的权值和阈值即为所求。 * BP算法性能评价 优点 1．通过初始权值较小化和并行的方式解决了非线性的问题； 2．通过误差反向传播以有教师的方式训练权值； 3．具有一定推广综合能力。 * 缺点 1．学习速度不稳定(可适当改进)； 2．对复杂非线性问题训练出来的参数容易落入局部极小值； 3．隐层节点的选取无理论指导，一般采用成长算法(删除法、添加法)尝试； 4．BP算法本身缺乏生物学借鉴； 5. 网络的学习、记忆具有不稳定性。 * * * * 通过迭代地处理一组训练样本，将每个样本的网络预测与实际指导的类标号比较，进行学习。对于每个训练样本，修改权，使得网络预测和实际类之间的均方误差最小。这种修改“后向”进行。即由输出层，经由每个隐藏层，到第一个隐藏层。一般地，权将最终收敛，学习过程停止。 向后传播: * * 训练的最终目的 利用训练集获得权重的集合，使得网络能够正确地将训练集分类 步骤 利用随机数初始化权重（-1.0—1.0，或-0.5—0.5） 将训练集样本逐一的输入到网络中 对于每一个样本 利用单元全部输入的线性组合和单元的偏置计算单元的净输入 将变换函数作用于单元的净输入，得到单元输出。 计算误差 修改权重和偏置值 * * 更新方法： 实例更新：每处理一个样本就更新权和偏置。 周期更新：权和偏置的增量也可以累积到变量中，使得可以在处理完训练集中的所有样本之后再更新权和偏置。 终止条件： 前一周期所有的wij的变化量都很小，小于某个指定的阈值 前一周期未正确分类的样本百分比小于某个阈值 超过预先指定的周期数 实践中，权收敛可能需要数十万个周期。 * BP网络的学习算法思想： 初始化网络及学习参数，即将隐含层和输出层各节点的连接权值、神经元阈值赋予[－1，1]区间的一个随机数。提供训练模式，即从训练模式集合中选出一个训练模式，将其输入模式和期望输出送入网络。 正向传播过程，即对给定的输入模式，从第一隐含层开始，计算网络的输出模式，并把得到的输出模式与期望模式比较，若有误差，则执行第（4）步；否则，返回第（2）步，提供下一个训练模式； 反向传播过程，即从输出层反向计算到第一隐含层，逐层修正各单元的连接权值。 返回第（2）步，对训练模式集中的每一个训练模式重复第（2）到第（3）步，直到训练模式集中的每一个训练模式都满足期望输出为止