83bp神经网络.ppt

3 BP网络学习算法举例 例 右图为由sigmoid神经元构成的BP神经网络（设每个神经元的阈值θ均为0），所标数值为初始权值。当输入矢量为（1，1） 时，期望输出为1，如果学习速率取为0.1，请写出用BP学习算法一次迭代后的权值，要求写出过程。 -0.05 0.2 0.05 0.1 0.25 0.15 x0 x1 o (1) 前向传播 第0层（输入层）： (1)前向传播 第1层（隐层）： (1)前向传播 第2层（输出层）： (2) 反向传播 第2层（输出层）： (2) 反向传播 第1层（隐层）： (2) 反向传播 第0层（输入层）： (3) 更新权值 反向传播和权值更新前后的BP神经网络对比： -0.05 0.2 0.05 0.1 0.25 0.15 x0 x1 o -0.0433 0.2071 0.0498 0.1006 0.2506 0.1498 x0 x1 o 4. BP网络学习算法的关键和有待解决的问题 1）最终的权值应是各个样例训练结果的某种统计值 例如，设有样例X(k),T(k)(k=1,2,…n)，则其权值可通过下式给出： 2）训练的终止条件 (1)权值更新迭代的次数达到设定值时 该设定值应适当，否则将达不到训练目的，或因对于样例的过度拟合而造成对于其它实例泛化精度的降低。 (2)在训练样例上的误差降到设定的允许误差时 训练样例d的误差可以通过对网络中所有输出单元的求和得到： (3)在分离的验证样例集合上的误差符合某个标准时。 与(2)不同的是，这种方法使用训练样例以外的 样例来求得误差，并视该误差是否达到某个标准来确定训练是否可以终止。 3）对网络进行训练的样例的数量 样例数量要适当。太少则缺乏代表性，太多则带来训练开销等问题。 4）学习速率 学习速率太小则降低训练效率，太大则可能陷入局部最小而达不到全局最小。 5）隐层的层数和每一隐层中单元数目的确定 6）平台效应（在训练过程中的某一阶段，输出误差下降不明显） 例 写出下图所示BP神经网络中隐层右单元的激励函数输入项，误差项，以及该单元与输出层右单元之间权值的修正式。 x0 x1 o1 o0 隐层右单元的激励函数输入项： 隐层右单元的误差项： 该单元与输出层右单元之间权值的修正式： 5. BP神经网络的构建 (1) 学习率和冲量系数 学习率影响系统学习过程的稳定性。大的学习率可能使网络权值每一次的修正量过大，甚至会导致权值在修正过程中超出某个误差的极小值呈不规则跳跃而不收敛；但过小的学习率导致学习时间过长，不过能保证收敛于某个极小值。所以，一般倾向选取较小的学习率以保证学习过程的收敛性（稳定性），通常在0.01~0.8之间。 增加冲量项的目的是为了避免网络训练陷于较浅的局部极小点。理论上其值大小应与权值修正量的大小有关，但实际应用中一般取常量。通常在0~1之间，而且一般比学习率要大。 (2) 网络的初始连接权值 BP算法决定了误差函数一般存在（很）多个局部极小点，不同的网络初始权值直接决定了BP算法收敛于哪个局部极小点或是全局极小点。因此，要求计算程序（建议采用标准通用软件，如Statsoft公司出品的Statistica Neural Networks软件和Matlab 软件）必须能够自由改变网络初始连接权值。由于Sigmoid转换函数的特性，一般要求初始权值分布在-0.5~0.5之间比较有效。 8.3 前馈神经网络 8.3.1 感知器模型 感知器是一种早期的神经网络模型，由美国学者F.Rosenblatt于1957年提出.感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学到了一定程度的模拟，所以引起了广泛的关注。 简单感知器 简单感知器模型实际上仍然是MP模型的结构，但是它通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。 其结构如下图所示 感知器处理单元对n个输入进行加权和操作v即： 其中，Wi为第i个输入到处理单元的连接权值θ为阈值。 f取阶跃函数. 简单感知器引入的学习算法称之为误差学习算法。该算法是神经网络学习中的一个重要算法，并已被广泛应用。现介绍如下： 误差型学习规则： (1)选择一组初始权值wi(0)。 (2)计算某一输入模式对应的实际输出与期 望输出的误差δ (3)如果δ小于给定值，结束，否则继续。 (4)更新权值(阈值可视为输入恒为1的一个权值)： Δwi（t+1）＝ wi（t+1）- wi（t）