深度学习研究进展选编.PDFVIP

第３１卷第７期 计 算 机 应 用 研 究 Ｖｏｌ．３１Ｎｏ．７ ２０１４年７月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｊｕｌ．２０１４ 深度学习研究进展 刘建伟，刘　媛，罗雄麟 （中国石油大学 自动化研究所，北京 １０２２４９） 摘　要：鉴于深度学习的重要性，综述了深度学习的研究进展。首先概述了深度学习具有的优点，由此说明了 引入深度学习的必要性；然后描述了三种典型的深度学习模型，包括卷积神经网络模型、深度信任网络模型和堆 栈自编码网络模型，并对近几年深度学习在初始化方法、网络层数和激活函数的选择、模型结构、学习算法和实 际应用这四个方面的研究新进展进行了综述；最后探讨了深度学习在理论分析、数据表示与模型、特征提取、训 练与优化求解和研究拓展这五个方面中有待进一步研究解决的问题。 关键词：深度学习；神经网络；模型；表示；堆栈；预训练 中图分类号：ＴＰ１８１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１４）０７１９２１１０ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１４．０７．００１ Ｒｅｓｅａｒｃｈａｎｄｄｅｖｅｌｏｐｍｅｎｔｏｎｄｅｅｐｌｅａｒｎｉｎｇ ＬＩＵＪｉａｎｗｅｉ，ＬＩＵＹｕａｎ，ＬＵＯＸｉｏｎｇｌｉｎ （ＲｅｓｅａｒｃｈＩｎｓｔｉｔｕｔｅｏｆＡｕｔｏｍａｔｉｏｎ，ＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＰｅｔｒｏｌｅｕｍ，Ｂｅｉｊｉｎｇ１０２２４９，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｖｉｅｗｏｆｔｈｅｓｉｇｎｉｆｉｃａｎｃｅｏｆｄｅｅｐｌｅａｒｎｉｎｇ，ｔｈｉｓｐａｐｅｒｒｅｖｉｅｗｅｄｔｈｅｒｅｓｅａｒｃｈａｎｄｄｅｖｅｌｏｐｍｅｎｔｏｎｄｅｅｐｌｅａｒｎｉｎｇ． Ｆｉｒｓｔｌｙ，ｔｈｉｓｐａｐｅｒｓｕｍｍａｒｉｚｅｄｔｈｅａｄｖａｎｔａｇｅｏｆｄｅｅｐｌｅａｒｎｉｎｇ，ａｎｄｉｌｌｕｓｔｒａｔｅｄｔｈｅｎｅｃｅｓｓｉｔｙｏｆｉｎｔｒｏｄｕｃｉｎｇｄｅｅｐｌｅａｒｎｉｎｇ．Ｓｅｃ ｏｎｄｌｙ，ｉｔｄｅｓｃｒｉｂｅｄｔｈｒｅｅｋｉｎｄｓｏｆｔｙｐｉｃａｌｄｅｅｐｌｅａｒｎｉｎｇｍｏｄｅｌｓ，ｉｎｃｌｕｄｅｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌ，ｄｅｅｐｂｅｌｉｅｆｎｅｔ ｗｏｒｋｍｏｄｅｌ，ａｎｄｓｔａｃｋｅｄａｕｔｏｅｎｃｏｄｅｒｎｅｔｗｏｒｋｍｏｄｅｌ．Ｔｈｉｒｄｌｙ，ｉｔｒｅｖｉｅｗｅｄｎｅｗｒｅｓｅａｒｃｈａｎｄｄｅｖｅｌｏｐｍｅｎｔｏｎｄｅｅｐｌｅａｒｎｉｎｇｉｎ ｒｅｃｅｎｔｙｅａｒｓ，ｉｎｃｌｕｄｅｄｔｈｅｃｈｏｉｃｅｏｆｉｎｉｔｉａｌｉｚａｔｉｏｎｍｅｔｈｏｄｓ，ｔｈｅｎｕｍｂｅｒｏｆｎｅｔｗｏｒｋｌａｙｅｒｓ，ａｎｄａｃｔｉｖａｔｉｏｎｆｕｎｃｔｉｏｎ，ｍｏｄｅｌｓｔｒｕｃ ｔｕｒｅ，ｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｓ，ａｎｄｐｒａｃｔｉｃａｌａｐｐｌｉｃａｔｉｏｎ．Ｆｉｎａｌｌｙ，ｉｔｐｒｅｓｅｎｔｅｄｔｈｅｐｒｏｂｌｅｍｓｔｏｂｅｓｏｌｖｅｄｉｎａｓｐｅｃｔｓｏｆｔｈｅｏｒｅｔｉｃａｌ ａｎａｌｙｓｉｓ，ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｎｄｍｏｄｅｌｏｆｄａｔａ，ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ，ｔｒａｉｎｉｎｇａｎｄｏｐｔｉｍｉｚａｔｉｏｎ，ａｎｄｒｅｓｅａｒｃｈｅｘｔｅｎｓｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｄｅｅｐｌｅａｒｎｉｎｇ；ｎｅｕｒａｌｎｅｔｗｏｒｋ；ｍｏｄｅｌ；ｒｅｐｒｅｓｅｎｔａｔｉｏｎ；ｓｔａｃｋｉｎｇ；ｐｒｅｔｒａｉｎｉｎｇ 深度结构神经网络能够较好地表征。 　引言 ｂ）在网络结构的计算复杂度方面，当用深度为ｋ的网络结 许多研究表明，为了能够学习表示高阶抽象概念的复杂函 构能够紧凑地表达某一函数时，在采用深度