计算智能-神经网络剖析.ppt

BP算法反向传播阶段 第 个样本的误差 则 个样本总误差为： S型函数的导数 输出层权值调整量： 最速下降法 （3-44） 广义偏差 隐藏层权值调整量 最速下降法 （3-53） BP算法流程 例：如下图所示的多层前向传播神经网络结构。假设对于输入 ，其期望的输出为 ： 网络权系数的初始值见图，试用BP算法训练此网络。这里神经元激励函数为 ，学习步长为 神经网络结构图 Ζ1 x1 x2 1 1 2 0 3 -2 -1 1 1 0 -2 1 -2 3 V W Ζ2 O1 O2 解：1）设定最大容许误差值 和最大迭代学习次数 ，并设初始迭代学习次数 。 2）计算当前输入、及当前网络的连接权系数下的神经网络输出。 首先计算神经元Ζ1和Ζ2的中间状态 其中： Ζ1 则Ζ1、Ζ2的输出为： 同理，可得神经元O1、O2的中间状态为： O1、O2的输出为： 3）根据给定的教师输出值，判断神经网络逼近误差要求或者迭代学习到最大容许值否？ 若上述不等式中有一个满足,则退出学习.否则进入4)。 4）计算广义误差(反向学习) （1）输出层权值调整量 输出层总神经元的权值调整的简化过程如下： 则算出输出层的误差为： 因为 隐藏层总神经元的权值调整的简化过程如下： 算出隐藏层的误差为： （2）隐藏层权值调整 5）连接权系数更新 iterate=iterate+1;继续迭代计算直至满足终止条件为止。 * BP算法的特点 弱点： 训练速度非常慢 局部极小点的逃离问题 算法不一定收敛 优点： 广泛的适应性 有效性 3.3.3 BP算法的改进 1）利用动量法改进BP算法 将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量 2）自适应调整学习速率η 在学习收敛的情况下，增大 ，以缩短学习时间；当 偏大致使不能收敛时，要及时减小 ，直到收敛为止 3）动量-自适应学习速率调整算法 将以上两种方法结合 * 非线性映射功能 在客观世界中，许多系统的输入与输出之间存在复杂的非线性关系，对于这类系统，往往很难用传统的数理方法建立其数学模型。设计合理的神经网络通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射。神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。该模型的表达是非解析的，输入输出数据之间的映射规则由神经网络在学习阶段自动抽取并分布式存储在网络的所有连接中。具有非线性映射功能的神经网络应用十分广阔，几乎涉及所有领域。 * 分类与识别功能 神经网络对外界输入样本具有很强的识别与分类能力。对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。传统分类方法只适合解决同类相聚，异类分离的的识别与分类问题。但客观世界中许多事物（例如，不同的图象、声音、文字等等）在样本空间上的区域分割曲面是十分复杂的，相近的样本可能属于不同的类，而远离的样本可能同属一类。神经网络可以很好地解决对非线性曲面的逼近，因此比传统的分类器具有更好的分类与识别能力。 * 优化计算功能 优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小值。某些类型的神经网络可以把待求解问题的可变参数设计为网络的状态，将目标函数设计为网络的能量函数。神经网络经过动态演变过程达到稳定状态时对应的能量函数最小，从而其稳定状态就是问题的最优解。这种优化计算不需要对目标函数求导，其结果是网络自动给出的。 * 　 * 　 * 　 * 　 * 　误差反向传播神经网络则具有很强的学习能力，可以实现非线性 可分输入样本的分类。 * 　误差反向传播神经网络则具有很强的学习能力，可以实现非线性 可分输入样本的分类。 * 　 * 　 * 　 另一种是灌输式学习 或死记式学习 在生物神经网络中，存在着一种侧抑制现象，即当一个神经细胞兴奋后，会对其周围 的其它神经细胞产生抑制作用。这种抑制使神经细胞之间出现竞争，“强者”超“强”，“弱” 者越“弱”，最终形成一个强兴奋的中心细胞，而在其周围的神经细胞都处于抑制状态。此 外，在学习过程中，还存在着一种无需教师指导的学习。例如刚出生的婴儿，在外界环境 的声音信号刺激下，会自然地发出声音，这种“无师自遏”的现象就是自组织、自学习的方 式。利用这种竞争性的无导师学习策略，学习时只需输入训练模式