《基于知识蒸馏的深度神经网络的模型压缩算法国内外研究现状文献综述》8800字.docxVIP

基于知识蒸馏的深度神经网络的模型压缩算法国内外研究现状文献综述

本节从深度神经网络在目标识别领域的应用、深度神经网络模型压缩两方面展开，介绍该领域的国内外研究现状。

1.1基于深度神经网络的目标识别技术

近年来，随着深度学习的进一步发展，在计算机视觉领域的应用研究越来越广泛和成熟，并取得很多实际的价值。作为其中最基本、重要的两大领域：目标检测与图像分类也得到长足发展。考虑到本文的研究工作是在这两种计算机视觉任务上进行实验验证，因此对其发展现状做一简单介绍。

1）图像分类

图像分类指的是给定一幅输入图像，通过某种分类算法判断该图像所属的类别，主要包括图像预处理、特征提取和分类器设计REF_Re\r\h[7]等关键过程。

传统的图像分类方法由于难以处理庞大的图像数据，无法满足实际应用中对分类精度和速度的需求，因此基于深度学习的图像分类方法受到广泛关注。此类方法通过神经网络自主地从训练样本中学习特征，提取出更高维、抽象的特征，是一种端到端的模型。

基于深度学习模型的图像分类网络发展如下：1998年，LeCun等REF_Re\r\h[8]首次提出7层LeNet-5神经网络模型，在mnist数据集取得0.8%的分类错误率。2012年，Krizhevsky等REF_Re\r\h[6]首次提出