深度学习及研究进展_刘建伟.pdfVIP

31 7 Vol. 31 No. 7 第 卷第 期 计 算 机 应 用 研 究 2014 7 Application Ｒesearch of Computers Jul． 2014 年 月 深度学习研究进展* ， ， 刘建伟 刘 媛 罗雄麟 (中国 ， 102249) 石油大学自动化研究所 北京 : ， 。 ， 摘 要 鉴于深度学习的重要性 综述了深度学习的研究进展 首先概述了深度学习具有的优点 由此说明了 ; ， 、 引入深度学习的必要性 然后描述了三种典型的深度学习模型 包括卷积神经网络模型 深度信任网络模型和堆 ， 、 、 、 栈自编码网络模型 并对近几年深度学习在初始化方法 网络层数和激活函数的选择 模型结构 学习算法和实 ; 、 、 、 际应用这四个方面的研究新进展进行了综述 最后探讨了深度学习在理论分析 数据表示与模型 特征提取 训 练与优化求解和研究拓展这五个方面中有待进一步研究解决的问题。 : ; ; ; ; ; 关键词 深度学习 神经网络 模型 表示 堆栈 预训练 中图分类号:TP181 文献标志码:A 文章编号:1001-3695 (2014)07-1921-10 doi :10． 3969 /j． issn． 1001-3695． 2014． 07． 001 Ｒesearch and development on deep learning LIU Jian-wei ，LIU Yuan ，LUO Xiong-lin (Ｒesearch Institute of Automation ，China University of Petroleum，Beijing 102249，China) Abstract :In view of the significance of deep learning ，this paper reviewed the research and development on deep learning． Firstly ，this paper summarized the advantage of deep learning ，and illustrated the necessity of introducing deep learning． Sec- ondly ，it described three kinds of typical deep learning models ，included convolutional neural network model ，deep belief net- work model ，and stacked auto-encoder network model． Thirdly ，it reviewed new research and development on deep learning in recent year