人工智能课件蔡自兴不全第7章幻灯片.pptVIP

5. BP网络学习算法的关键和有待解决的问题 2）训练的终止条件 (1)权值更新迭代的次数达到设定值时 该设定值应适当，否则将达不到训练目的，或因对于样例的过度拟合而造成对于其它实例泛化精度的降低。 5. BP网络学习算法的关键和有待解决的问题 2）训练的终止条件 (2)在训练样例上的误差降到设定的允许误差时 训练样例d的误差可以通过对网络中所有输出单元的求和得到： 5. BP网络学习算法的关键和有待解决的问题 2）训练的终止条件 (3)在分离的验证样例集合上的误差符合某个标准时。 与(2)不同的是，这种方法使用训练样例以外的 样例来求得误差，并视该误差是否达到某个标准来确定训练是否可以终止。 5. BP网络学习算法的关键和有待解决的问题 3）对网络进行训练的样例的数量 样例数量要适当。太少则缺乏代表性，太多则带来训练开销等问题。 5. BP网络学习算法的关键和有待解决的问题 4）学习速率 学习速率太小则降低训练效率，太大则可能陷入局部最小而达不到全局最小。 5. BP网络学习算法的关键和有待解决的问题 5）隐层的层数和每一隐层中单元数目的确定 6）平台效应（在训练过程中的某一阶段，输出误差下降不明显） 例4 写出下图所示BP神经网络中隐层右单元的激励函数输入项，误差项，以及该单元与输出层右单元之间权值的修正式。 x0 x1 o1 o0 隐层右单元的激励函数输入项： 隐层右单元的误差项： 该单元与输出层右单元之间权值的修正式： 7.4 人工神经网络 7.4.1神经网络的组成与特性 1.生理神经元结构与功能 (1) 生理神经元的结构 7.4.1神经网络的组成与特性1.生理神经元的结构与功能 (2) 生理神经元的功能 　　 脑神经生理学研究结果表明，每个人脑大约含有1011-1012个神经元，每一神经元又约有103-104个突触。神经元通过突触形成的网络，传递神经元间的兴奋与抑制。大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与思维。 7.4.1神经网络的组成与特性 2.人工神经元组成与数学描述 人工神经元是根据生物神经网络研究成果，用数学加以抽象和简化，在计算机上模拟生物神经元。 (1) 人工神经元（ANN）组成 wji xi x2 wj2 x1 wj1 θ -1 f( ) .... oj 7.4.1神经网络的组成与特性 2.人工神经元的组成与数学描述 (2) ANN的数学描述 　　 令来自其它处理单元(神经元)i的信息为xi，它们与本处理单元的互相作用强度为wi，i=0,1,…，n-1，处理单元的内部阈值为θ。那么本神经元的输入如左式所示 ，处理单元的输出如右式所示： 　 7.4.1神经网络的组成与特性 2.人工神经元的组成与数学描述 (2) ANN的数学描述 f称为激励函数或作用函数。它决定节点的输出。该输出为1或0取决于其输入之和大于或小于内部阈值θ。其中图(c)表示sigmoid函数。 　 wji xi x2 wj2 x 1 wj1 x0 wj0 .... Sigmoid函数 若f( )取为sigmoid函数，则ANN如下图所示：(为了表达方便起见，将内部阈值部分与输入部分统一表示） 7.4.1神经网络的组成与特性 3.人工神经元实现简单的逻辑功能举例 例1 对于右图所示神经元，输入为逻辑值。适当选取其权值 wi，阈值θ及激励函数f( )，即可实现一定的逻辑功能。 w1 x1 x0 w0 θ -1 f( ) o 3.人工神经元实现简单的逻辑功能举例例1 若取 w0= w1 = 1 ①0＜θ≤1，则 ②1＜θ≤2，则 w1 x1 x0 w0 θ -1 f( ) o 本次课主要内容 基于BP网络的学习原理 BP网络学习算法 BP网络学习算法的关键和有待解决的问题 7.4 神经网络7.4.2 基于BP网络（反向传播网络）的学习 1.BP网络的结构 BP网络由一个输入层，一个输出层，以及若干隐层组成。每一层神经元的状态只影响下一层神经元。 还可对每个神经元设置阈值。 1 -2 1 1 1