金准数据深度学习技术研究.docxVIP

金准数据深度学习技术研究  编制机构：金准数据 发稿时间：2017-4-10 金准数据深度学习技术研究 1.技术演进 深度学习（Deep Learning），是目前人工智能领域最流行的技术。具体来讲，深度学习模型由一系列相互关联的神经元组成，经训练后得到关联权重，数据通过整个网络便可自动得到更具有语义的特征表示，进一步可以直接用于分类图像和语音，甚至是控制无人机或是无人车。 深度学习试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象，与目前的人脑模型接近，符合人类层次化的组织概念、由简至繁分层抽象的认知过程。深度学习可以模拟人脑从外界环境中学习、理解甚至解决模糊歧义的过程。与浅层学习相比，深度学习最大的不同在于利用简单的神经网络实现更层次化的特征表示，取代人工挑选的复杂特征（即特征工程） 表示，并能够在具体任务上达到更好的效果。 深度学习的概念并不新颖，但直到近年才得到认可。业界普遍认为，是超大规模训练数据、复杂的深层模型和分布式并行训练造就了今天深度学习的繁荣。具体来讲，包含多个隐藏层的神经网络,利用现在的高性能计算机和人工标注的海量数据，通过迭代得到超过浅层模型的效果。深度学习带来了模式识别和机器学习方面的革命。 图表1 神经网络发展时间线 目前的深度学习模型可以分为神经网络和深度模型两条发展路径如下表所列。 图表2 神经网络方面的发展 1943 年 McCulloch 和Pitt 设计的人工神经元 1958 年 Rosenblatt 提出感知机 1979 年 Fukushima 设计最早的卷积神经网络，已经具备了多层卷积和池化，但是训练方法上还存在缺陷 1985 年 Hinton 将反向传播引入神经网络训练，发现可以得出带有语义的网络结构 1985 年 业界提出认知学问题：人类是否也是类似的依赖神经元连接来进行认知 1989 年 Hinton 提出自编码 （Auto Encoder） 1999 年 Hinton 等人提出受限玻尔兹曼机 1965 年 乌克兰数学家Ivakhnenko 发表深度前向多层感知器 1971 年 Ivakhnenko 设计八层网络 1986 年 Dechter 将深度学习引入到机器学习领域 2000 年 Aizenberg 等将其与人工神经网络结合 在应用方面，第一个成功的例子是1989 年LeCun 利用卷积神经网络结合反向传播训练方法进行手写体识别，后期推广到全美支票识别。然而由于人工智能行业整体的不景气，训练速度和规模受限等问题，包括1997 年Hochreiter 提出的LSTM 等技术的应用不如1995 年Vapnik 提出的支持向量机方法广泛。 21 世纪初，伴随着信息革命的发展，计算机性能大幅提升，大规模并行计算设备如GPU 等的出现，使得深度学习模型的训练过程可以提速千倍，在同等海量数据规模的情况下，其表现超过了支持向量机等浅层模型，并随着数据的增加可获得持续改进，业界对其应用前景的评估日益乐观，开始源源不断地投入深度学习的改进中。 2．深度学习的三个里程碑 任何技术的发展过程，都伴随着一些重要的突破节点，在深度学习技术方面，可划分为模型初步、大规模尝试和遍地开花三个阶段。 2006 年前后，深度模型初见端倪，这个阶段主要的挑战是如何有效训练更大更深层次的神经网络，曾一度因为梯度方法容易造成层次间信息损失而效果受到影响。业界尝试利用逐层预训练的方法（还有一种尝试方法是上文提到的LSTM）来解决该问题，预训练首先通过无监督学习得到一些比较稳定的特征，而后用监督学习稍加调整便可得到较好效果，最早是1992 年Schmidhuber 提出，而后Hinton 等人在2006 年改进为前向反馈。 图表3 Google 大脑计划 2011 年底，大公司逐步开始进行大规模深度学习的设计和部署。“Google 大脑”项目启动，由时任斯坦福大学教授的吴恩达和Google 首席架构师Jeff Dean 主导，专注于发展最先进的神经网络。初期重点是使用大数据集以及海量计算，尽可能拓展计算机的感知和语言理解能力。该项目最终采用了16000 个GPU 搭建并行计算平台，以YouTube 视频中的猫脸作为数据对网络进行训练和识别，引起业界轰动，此后在语音识别和图像识别等领域均有所斩获。 图表4 ImageNet 挑战赛 近年来深度学习获得了非常广泛的关注，其进展的一个直观的体现就是ImageNet 竞赛。在这个竞赛中参赛算法在数千个种类图像和视频的大规模数据上测试检测和分类的正确率快速上升。 图表5 2011 年至2015 年 ImageNet 图片分类结果 近年来，随着GPU 的提速，深层网络