互学习神经网络训练方法研究.PDFVIP

第 40 卷 计 算 机 学 报 Vol.40 2017 论文在线出版号 No.37 CHINESE JOURNAL OF COMPUTERS Online Publishing No.37 互学习神经网络训练方法研究 1) , 2) 1) , 2) 3) 1) , 2) 1) , 2) 刘威 刘尚 白润才 周璇 周定宁 1)(辽宁工程技术大学，数学与系统科学研究所，辽宁，阜新 123000) 2)(辽宁工程技术大学，智能工程与数学研究院，辽宁，阜新 123000) 3)(辽宁工程技术大学，矿业学院，辽宁，阜新 123000) 摘 要 由于BP 神经网络具有表达能力强，模型简单等特点，经过近30 年的发展，在理论和应用研究上都取得了巨大的 进步，然而容易陷入局部最优和泛化能力差等问题却限制了神经网络的发展。同时，大数据的出现和深度学习算法的提出与 应用，为神经网络向更类脑的方向发展提出了新的要求。针对上述问题，本文从模拟生物双向认知能力的角度出发，构造 了一种新的神经网络模型：互学习神经网络模型，该模型在标准正向神经网络的基础上，引入了与其具有结构对称性的负 向神经网络，利用正、负向神经网络分别模拟生物的顺向和逆向认知过程，并在此基础上提出了一种新的神经网络训练方 法：互学习神经网络训练方法，该方法通过网络连接权值转置共享，正、负双向交替训练的方式对互学习神经网络模型进行 训练，从而实现输入数据和输出标签之间的相互学习，使网络具有双向认知能力。实验表明，互学习神经网络训练方法可 以同时训练正负两个神经网络，并使网络收敛。同时，在此基础上提出了 “互学习预训练+标准正向训练”的两阶段学习策 略和相应的转换学习方法，这种转换学习方法起到了和 “无监督预训练+监督微调”相同的效果，能够使网络训练效果更 好，是一种快速、稳定、泛化能力强的新型神经网络学习方法。 关键词 神经网络；互学习；权值共享；BP 算法；双向认知；分类识别 中图法分类号 TP18 论文引用格式： 刘威,刘尚, 白润才,周璇,周定宁, 互学习神经网络训练方法研究,2017, Vol.40,在线出版号 No.37 Liu Wei,Liu Shang,Bai Run-Cai,Zhou Xuan,Zhou Ding-Ning, Research of Mutual Learning Neural Network Training Method, 2017, Vol.40,Online Publishing No. 37 Research of Mutual Learning Neural Network Training Method Liu Wei1),2) Liu Shang1),2) Bai Run-Cai3) Zhou Xuan1),2) Zhou Ding-Ning 1),2) 1)( Institute of Mathematics and Systems Science, LiaoNing Technical University, FuXin ,Liaoning 123000) 2)( Institute of Intelligence Engineering and Mathematics, LiaoNing Technical University, FuXin ,Liaoning 123000) 3)(College of Mining Engineering, LiaoNing Technical University, FuXin ,Liaoning 123000) Abstract Since BP neural ne