新版人工神经网络.ppt

新版人工神经网络;第五章 BP神经网络;研究背景;研究背景;研究背景;研究背景;研究背景;异或问题;输出函数: ;x1+x2+0.5=0;BP神经元及BP网络模型;BP神经元及BP网络模型;BP神经元及BP网络模型;BP神经元及BP网络模型;BP神经元及BP网络模型;BP神经元及BP网络模型;前一层输出是后一层输入 ;BP网络学习;BP网络学习;BP网络学习;BP网络学习;函数迫近;应用举例;函数迫近;函数迫近;函数迫近;函数迫近;函数迫近;函数迫近;函数迫近;函数迫近;反向传输算法;反向传输算法;多层网络BP算法是 LMS 算法推广。两个算法均使用相同性能指数: 均方误差。算法输入是一个网络正确行为样本集合: ;近似误差最速下降法为, 这里 是学习速度。;敏感性反向传输;误差不是隐层中权值显式函数偏导数不易求得;链法则计算隐层偏导数;梯度计算;梯度计算;最速下降;Jacobian矩阵;Jacobian矩阵;Jacobian矩阵;反向传输(敏感性) ;初始化(最终一层) ;第一步, 经过网络将输入向前传输;下一步, 经过网络将敏感性反向传输;最终, 使用最速下降法更新权值和偏置值;BP算法总结;;网络;初始条件 ;初始条件 ;初始条件 ; 现在能够开始实施算法了。对初始输入,我们选择p=1 : 第一层输出为;第二层输出为 误差将为 ;算法下一阶段是反向传输敏感性值。在开始反向传输前需要先求传输函数导数 和 。 对第一层: ;对第二层: 下面能够实施反向传输了。起始点在第二层。 ;第一层敏感性由计算第二层敏感性反向传输得到: ; 算法最终阶段是更新权值。为简单起见,学习速度设为 。;; 这就完成了BP算法第一次迭代。下一步能够选择另一个输入, 实施算法第二次迭代过程。迭代过程一直进行下去, 直到网络响应和目标函数之差达成某一可接收水平。; 接着讨论与反向传输法实际实现相关部分问题, 包含网络结构选择、网络收敛性和通常化问题。 1.网络结构选择 如本章前面所述, 多层网络可用来迫近几乎任一个函数,只要在隐层中有足够神经元。然而, 通常并不能说, 多少层或多少神经元就能够得到足够性能。本节中我们经过部分例子来考察这个问题。;第一个例子: 假定要迫近以下函数: 其中 i 取值1、2、4 和8 。随 i 增加, 函数变得更为复杂, 在 区间内将有更多正弦波周期。当 i 增加时, 极难用隐层中神经元数目固定神经网络来迫近g(p) 。; 对这个例子,我们使用一个1-3-1 网络,第一层传输函数为 “logsig”形,第二层传输函数是线性函数。依据前面函数迫近例子,这种两层网络响应是三个 “logsig”形函数之和(或多个logsig形函数之和,只要隐层中有一样多神经元). 显然,对这个网络能实现函数有多么复杂有一个限制。图6－18是网络经训练来迫近g(p)(对 i = 1,2,4,8)后响应曲线。最终网络响应用图中画出曲线来表示。;网络结构选择 ;网络结构选择 ;网络结构选择 ;网络结构选择 ;BP网络不足;BP网络不足;BP网络不足;BP网络不足;BP网络不足;Thank You !