第5章典型人工神经网络BP4培训教材.ppt

第五章　典型人工神经网络;第5.1节 感知器;第5.1节 感知器;5.1.1 感知器模型和用途;5.1.1 感知器模型和用途;x1;;;单层感知机;第5.1节 感知器;结构特征： 在输入层和输出层之间嵌入一层或多层隐含层。 隐含单元既可以与输入输出单元相连，也可以与其它隐含单元相连。 分类： 含一个隐含层前向传播网络 L+1层前向传播网络;5.1.2 多层感知器模型和学习算法;隐含层输出：;…;多层感知器模型的功能：;前向传播网络实质上表示的是一种从输入空间到输出空间的映射。 网络的训练实质上是对突触权阵???调整，以满足当输入为Xp时其输出应为Yd。 思想：前向计算得到网络的输出, 反向计算得到误差的积累，由梯度下降法调整权值。;学习算法结构图;误差的平方和;…;学习算法（续）;;;第二步：计算梯度;第三步：计算梯度;选定初始加权矩阵;第二隐层与第一隐层连接权值及阈值更新：; 初始化 ;权系数的初值： 随机选较小的值，尽量均匀覆盖权值空间，避免出现初始权值相同的情况。 学习方式: 增量型学习方法效果好；累积型学习方法速度快。 激励函数： 非减可微函数。可通过调节Sigmoid函数的斜率或采用其它激励函数来改善网络的学习性能。 学习速率： 学习速率小，训练速度慢；学习速率大，训练速度快，可能出现振荡现象。;非线性优化的局部极小，或振荡不收敛； 收敛速度很慢； 新样本的加入会影响已学习过的老样本。;选用不同的作用函数、性能指标； 解决局部极小问题 选用不同的初值迭代；激励函数加入斜率因子；模拟退火方法；分解子网。 加快收敛速度 采用不同的激励函数；变学习率方法；利用激励函数的二阶导数；最速下降法；组合学习方法；权值修正引入动量因子；遗传算法；等等。;准则： 检查权值的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值小了，可以对其增加一个量； 若不是这样，而产生了过调，那么就应该减小学习速率的值。;在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。利用附加动量的作用则有可能滑过局部极小值。 该方法是在反向传播法的基础上，在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化。;网络的层数 隐含层的神经元数 初始权值的选取 学习速率的选取 期望误差的选取;理论上已经证明：至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数。 增加层数主要可以更进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。 一般情况下，应优先考虑增加隐含层中的神经元数。 能不能仅用具有非线性激活函数的单层网络来解决问题呢？结论是：没有必要或效果不好。;网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元数的方法来获得。这在结构实现上，要比增加更多的隐含层要简单得多。 在具体设计时，比较实际的做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量。 ;学习速率决定每一次循环训练中所产生的权值变化量。 大的学习速率可能导致系统的不稳定。 小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。 所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01-0.8之间。;在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适的值。 这个所谓的“合适”，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得的。 一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其中一个网络。;例5.1.1 P128 BP网络训练 ;Matlab 命令窗口输入 “Help 函数名” 可得到相关函数的详细介绍； ;补充：感知器神经网络工具箱函数;误差曲线;补充：BP网络工具箱函数;单神经元PID控制