互学习神经网络训练方法研究选编.PDFVIP

第 卷 第 期 ４０ ６ 　 　　 　　 　　 　　 Ｖｏｌ．４０ Ｎｏ．６ 年 月 ２０１７ ６ ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｊｕｎｅ２０１７ 　 互学习神经网络训练方法研究 ），） ），） ） ），） ），） １ ２ １ ２ ３ １ ２ １ ２ 刘 威 刘 尚 白润才 周 璇 周定宁 　 　 　 　 　 　 　 １）（辽宁工程技术大学数学与系统科学研究所 辽宁 阜新 １２３０００） 　 　 ２）（辽宁工程技术大学智能工程与数学研究院 辽宁 阜新 １２３０００） 　 　 ３）（辽宁工程技术大学矿业学院 辽宁 阜新 １２３０００） 　 　 摘 要 由于 神经网络具有表达能力强，模型简单等特点，经过近 年的发展，在理论和应用研究上都取得了 ＢＰ ３０ 　 　 巨大的进步，然而容易陷入局部最优和泛化能力差等问题却限制了神经网络的发展 同时，大数据的出现和深度学 ． 习算法的提出与应用，为神经网络向更类脑的方向发展提出了新的要求 针对上述问题，该文从模拟生物双向认知 ． 能力的角度出发，构造了一种新的神经网络模型———互学习神经网络模型，该模型在标准正向神经网络的基础上， 《 引入了与其具有结构对称性的负向神经网络，利用正、负向神经网络分别模拟生物的顺向和逆向认知过程，并在此 基础上提出了一种新的神经网络训练方法———互学习神经网络训练方法，该方法通过网络连接权值转置共享，正、 计 负双向交替训练的方式对互学习神经网络模型进行训练，从而实现输入数据和输出标签之间的相互学习，使网络 具有双向认知能力 实验表明，互学习神经网络训练方法可以同时训练正、负两个神经网络，并使网络收敛 同时， ． ． 在此基础上提出了“互学习预训练 标准正向训练”的两阶段学习策略和相应的转换学习方法，这种转换学习方法 ＋ 算 起到了和“无监督预训练 监督微调”相同的效果，能够使网络训练效果更好，是一种快速、稳定、泛化能力强的新 ＋ 型神经网络学习方法． 机 关键词 神经网络；互学习；权值共享； 算法；双向认知；分类识别；人工智能 ＢＰ 　 中图法分类号 号 ／