一种基于混合误差梯度下降算法的过程神经网络训练.pdfVIP

东 北 石 油 大 学 学 报 第38卷 第 4期 2014年 8月 JOURNALOFNORTHEASTPETROLEUM UNIVERSITY Vo1．38 No．4 Aug． 2014 一 种基于混合误差梯度下降 算法的过程神经网络训练 许少华，宋美玲，许 辰 ，朱新宁 (东北石油大学 计算机与信息技术学院。黑龙江 大庆 163318) 摘 耍：针对过程神经网络(PNN)单一训练算法 自适应调整能力差、缺乏对学习性质有效控制的问题，提出一种梯 度下降与牛顿迭代相结合的求解算法——混合误差梯度下降算法．在训练初始阶段，基于网络训练 目标函数，采用梯度 下降法进行迭代寻优 ，只需计算 目标函数一阶导数数值公式，复杂度低且误差下降快；当梯度下降法学习效率降低时，引 入牛顿迭代法，并将梯度下降法的训练结果作为初始参数代入 目标函数，使 问题转化为求解非线性方程组，不需要一维 搜索而提高网络训练效率．通过学习效率分析 自适应调