深度学习应用技术研究-计算机应用研究.PDFVIP

优先出版 计 算 机 应 用 研 究 第32 卷 深度学习应用技术研究* 1, 2 2 1 1 毛勇华 ，桂小林 ，李 前 ，贺兴时 (1．西安工程大学理学院，西安 710048 ；2 ．西安交通大学 电子与信息工程学院，西安 710049) 摘 要：针对深度学习应用技术进行了研究性综述。详细阐述了RBM （restricted Boltzmann machine ）逐层预训练后再 用BP （back-propagation ）微调的深度学习贪婪层训练方法，对比分析了 BP 算法中三种梯度下降的方式，建议在线学 习系统，采用随机梯度下降，静态离线学习系统采用随机小批量梯度下降；归纳总结了深度学习深层结构特征，并推荐 了目前最受欢迎的5 层深度网络结构设计方法。分析了前馈神经网络非线性激活函数的必要性及常用的激活函数优点， 并推荐 ReLU （rectified linear units ）激活函数。最后简要概括了深度 CNNs(convolutional neural networks) 、深度 RNNs(recurrent neural networks) 、LSTM(long short-termmemory networks)等新型深度网络的特点及应用场景，并归纳总 结了当前深度学习可能的发展方向。 关键词：RBM ；DNN ；梯度下降；验证集；监督学习；贪婪层训练方法；深度学习；深度学习层次结构 中图分类号：TP Study on application technology of deep learning Mao Yonghua1, 2, Gui Xiaoling 2, Li Qian 1, He Xingshi 1 (1. School of Science, Xian Polytechnic University, Xian 710048, China; 2. School of Electronics Information Engineering, Xian Jiaotong University, Xian 710049, China ) Abstract: This paper is a review of deep learning algorithms and their applications. It elaborates the greedy layer training algorithm which uses the fine-grained back-propagation (BP) learning following the layer-wise pre-training on each Restricted Boltzmann Machine (RBM) layer. After comparing and analyzing the three ways of gradient descent in the BP algorithm, we suggest applying stochastic gradient descent in online learning and adopting stochastic mini-batch gradient descent in static offli