神经网络原理与应用课程深度学习调研报告 魏嫒嫒-2016261392.docVIP

学生姓名: 魏嫒嫒 学号: 2016261392 PAGE PAGE 2 研究生课程报告 （2016秋） 总 分 时 间 课程名称 神经网络原理与应用 课程代码 88509 级 别 硕士生 学生姓名 魏嫒嫒 学 号 2016261392 学生邮箱 1210270950@ 学生电话教师姓名 Prof Mingyi HE 学院/学科 电子信息学院 上交时间 2017.01.10 To: 1740695800@ 神经网络原理与应用课程深度学习调研报告 1 摘要 深度学习是机器学习研究中的一个新领域，在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。近年来，深度学习在各个研究领域上也取得了丰硕的研究成果。本文简要论述了深度学习的背景、进展、模型、原理、算法以及各领域的应用，最后说明了深度学习的问题以及发展趋势。 2 背景与意义 2006年，Hinton提出了深度置信网络（DBN），一种深层网络模型。使用一种无监督训练方法来解决问题并取得良好结果。DBN（Deep Belief Networks）的训练方法降低了学习隐藏层参数的难度。并且该算法的训练时间和网络的大小和深度近乎线性关系。 区别于传统的浅层学习，深度学习更加强调模型结构的深度，明确特征学习的重要性，通过逐层特征变换，将样本元空间特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。 相较浅层模型，深度模型具有巨大的潜力。在有海量数据的情况下，很容易通过增大模型来达到更高的正确率。深度模型可以进行无监督的特征提取，直接处理未标注数据，学习结构化特征，因此深度学习也叫做Unsupervised Feature Learning。随着GPU、FPGA等器件被用于高性能计算、神经网络硬件的出现和分布式深度学习系统的出现，深度学习的训练时间被大幅缩短，使得人们可以通过单纯的增加使用器件的数量来提升学习的速度。深层网络模型的出现，使得世界上无数难题得以解决，深度学习已成为人工智能领域最热门的研究方向。 3 国内外进展 国外进展： 2010年，美国国防部DARPA计划首次资助深度学习项目。 2011年，微软研究院和谷歌的语言识别研究人员先后采用DNN技术降低语音识别错误率20%-30%，是该领域10年来最大突破 2012年，Hinton将ImageNet图片分类问题的Top5错误率由26%降低至15%。同年Andrew Ng与Jeff Dean搭建Google Brain项目，用包含16000个CPU核的并行结算平台训练超过10亿个神经元的深度网络，在语音识别和图像识别领域取得突破性进展。 2013年，Hinton创立的DNN Research公司被Google收购，Yann LeCun加盟Facebook的人工智能实验室。 2014年，Google将语言识别的精准度从2012年的84%提升到如今的98%，移动端Android系统的语言识别正确率提高了25%。人脸识别方面，Google的人脸识别系统FaceNet在LFW上达到99.63%的准确率。 2015年，Microsoft采用深度神经网络的残差学习方法将Imagenet的分类错误率降低至3.57%，已低于同类试验中人眼识别的错误率5.1%，其采用的神经网络已达到152层。 2016年，DeepMind使用了1920个CPU集群和280个GPU的深度学习围棋软件AlphaGo战胜人类围棋冠军李世石。 国内进展： 2012年，华为在香港成立“诺亚方舟实验室”从事自然语言处理、数据挖掘与机器学习、媒体社交、人际交互等方面的研究。 2013年，百度成立“深度学习研究院”（IDL），将深度学习应用于语言识别和图像识别、检索，2014年，Andrew Ng加盟百度。 2013年，腾讯着手建立深度学习平台Mariana，Mariana面向识别、广告推荐等众多应用领域，提供默认算法的并行实现。 2015年，阿里发布包含深度学习开放模块的DTPAI人工智能平台。 深度学习的研究已经渗透到生活的各个领域，已成为人工智能技术的主要发展方向。人工智能最终的目的是使机器具备与人相当的归纳能力，学习能力，分析能力和逻辑思考能力，虽然当前的技术离这一目标还很遥远，但是深度学习无疑提供了一种可能的途径，使得机器在单一领域的能力超越人类。 4 基本模型与原理 深度学习采用的模型为深层神经网络（Deep Neural Networks，DNN）模型，即包含多个隐藏层（Hidd