深度学习在图像识别中的研究进展与展望-Piazza.pdfVIP

深度学习在图像识别中的研究进展与展望 王晓刚  香港中文大学电子工程系 深度学习是近十年来人工智能领域取得的最 2006 年，Geoffrey Hinton 提出了深度学习。 重要的突破之一。它在语音识别、自然语言 之后深度学习在诸多领域取得了巨大成功， 处理、计算机视觉、图像与视频分析、多媒 受到广泛关注。神经网络能够重新焕发青春 体等诸多领域都取得了巨大成功。本文将重 的原因有几个方面。首先是大数据的出现在 点介绍深度学习在物体识别、物体检测、视 很大程度上缓解了训练过拟合的问题。例如 频分析的最新研究进展，并探讨其发展趋势。  ImageNet[2]训练集拥有上百万有标注的图像。 计算机硬件的飞速发展提供了强大的计算能 1. 深度学习发展历史的回顾 力，使得训练大规模神经网络成为可能。一 现有的深度学习模型属于神经网络。神经网 片 GPU 可以集成上千个核。此外神经网络的 络的历史可追述到上世界四十年代，曾经在 模型设计和训练方法都取得了长足的进步。 八九十年代流行。神经网络试图通过模拟大 例如，为了改进神经网络的训练，学者提出 脑认知的机理，解决各种机器学习的问题。 了非监督和逐层的预训练。它使得在利用反 1986 年 Rumelhart ，Hinton 和 Williams 在 向传播对网络进行全局优化之前，网络参数 《自然》发表了著名的反向传播算法用于训 能达到一个好的起始点，从而训练完成时能 练神经网络[1]，直到今天仍被广泛应用。 达到一个较好的局部极小点。 但是后来由于种种原因，大多数学者在相当 深度学习在计算机视觉领域最具影响力的突 长的一段的时间内放弃了神经网络。神经网 破发生在 2012 年，Hinton 的研究小组采用深 络有大量的参数，经常发生过拟合问题，即 度学习赢得了 ImageNet [2] 图像分类的比赛 往往在训练集上准确率很高，而在测试集上 [3]。ImageNet 是当今计算机视觉领域最具影 效果差。这部分归因于当时的训练数据集规 响力的比赛之一。它的训练和测试样本都来 模都较小。而且计算资源有限，即便是训练 自于互联网图片。训练样本超过百万，任务 一个较小的网络也需要很长的时间。总体而 是将测试样本分成 1000 类。自 2009 年，包 言，神经网络与其它模型相比并未在识别的 括工业界在内的很多计算机视觉小组都参加 准确率上体现出明显的优势，而且难于训练。 了每年一度的比赛，各个小组的方法逐渐趋 同。在 2012 年的比赛中，排名 2 到 4 位的小 因此更多的学者开始采用诸如支持向量机、 组都采用的是传统的计算机视觉方法，手工 Boosting 、最近邻等分类器。这些分类器可以 设计的特征，他们准确率的差别不超过 1%。 用具有一个或两个隐含层的神经网络模拟， Hinton 的研究小组是首次参加比赛，深度学 因此被称作浅层机器学习模型。它们不再模 习比第二名超出了 10%以上。这个结果在计 拟大脑的认知机理；相反，针对不同的任务