改进的快速bp算法-物探与化探.pdfVIP

第 23 卷第 2 期 物 　探 　与 　化 　探 Vol . 23 ,No . 2 1999 年 4 月 GEOPH YSICAL GEOCHEM ICAL EXPL ORA TION Apr . ,1999 改进的快速 B P 算法 王彦春 　　余钦范 　　段云卿 ( 中国地质大学 ,北京 　100083) 摘 　要 　B P 网络现在得到了广泛的应用 。然而 ,对于学习样本较多 ,输入输出映射关系复杂的情 况 ,学习速度较慢 。通过分析网络误差曲面特征 ,提出了快速 B P 算法 ,它可以大幅度地提高学习 速度 。 关键词 　误差曲面 ;B P 网络 ;学习率 ( B P 算法是 目前应用最广泛且较成功的一种算法 , 它利用梯度搜索技术 gradient search ) ( ) technique 使代价函数 co st functipon 最小化 。代价函数等于期望输出与实际输出的误差平 方和 。虽然 B P 算法能有效地解决很多问题 ,但对于输入输出的映射关系比较复杂 、已知样本 较多的情况 ,其学习速率慢 。通过分析误差曲面的一般特征 ,提出了快速 B P 算法 。对一些例 子进行了试算 ,学习速度有大幅度的提高 ,取得了较好的成果 。 1 　B P 算法及误差曲面的特征 B P 算法是用来训练人工神经网络的。主要用 B P 算法训练前馈型人工神经网络 ,它由输 ( ) 入层 、一个或多个隐蔽层 或称中间层 组成 ,每个节点只与邻层节点相连接 , 同一层的节点不 相连 。如果隐层节点足够多 ,一个三层人工神经网络可产生任意复杂的判别界面 。 前馈型神经网络常用的激活函数是 S 型函数 。在勘探地球物理中的模式识别问题大都采 用 S 型函数 。 这里先对下面所用符号作以说明。Wij k 是 k 层第 i 个节点与 k + 1 层的第 j 个节点之间的 连接权, Ij k 是第 k 层第j 个节点的输入, Oik 是第 k 层第 i 个节点的输出, L ( k) 是第 k 层的节点 数, 在输出层以前各层分别多加一个节点, 并使这些附加节点在每次迭代中输出均为 1 。这样 可以从数学上把阈值与其它项写成一个统一的公式, 阈值的修改权值一样 。 节点的输入 、输出关系由激活函数给出 L ( ) k - 1 θ ( ) O = f [ W ( ) O ( ) - k ] 1 j k ij k - 1 i k - 1 j i = 1