卷积神经网络研究综述-.docx

卷积神经网络研究综述

作者：李炳臻刘克顾佼佼姜文志

来源：《计算机时代》2021年第04期

????????摘要：回顾了卷积神经网络的发展历程，介绍了卷积神经网络的基本运算单元。在查阅大量资料基础上，重点介绍了有代表性的AlexNet、VGGNet、GoogLeNet、ResNet等，对他们所用到的技术进行剖析，归纳、总结、分析其优缺点，并指出卷积神经网络未来的研究方向。

????????关键词：卷积神经网络;AlexNet;VGGNet;GoogLeNet;ResNet

????????中图分类号：TP399文献标识码：A文章编号：1006-8228（2021）04-08-05

????????Absrtact：Thispaperreviewsthedevelopmentofconvolutionalneuralnetworks，andintroducesthebasicoperationunitofconvolutionalneuralnetworks.Onthebasisofconsultingalargeamountofinformation，thispaperfocusesontherepresentativeconvolutionalneuralnetworkssuchasAlexNet，VGGNet，GoogLeNetandResNetetc.，analyzesthetechnologiestheyused，summarizesandanalyzestheiradvantagesanddisadvantages，andpointsoutthefutureresearchdirectionofconvolutionalneuralnetworks.

????????Keywords：convolutionalneuralnetworks;AlexNet;VGGNet;GoogLeNet;ResNet

????????0引言

????????卷積神经网络（ConvolutionalNeuralNetworks，CNN）是一类包含卷积计算并且含有深层次结构的深度前馈神经网络，是深度学习的代表算法之一[1-2]，21世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展。较之于传统方法，卷积神经网络的优点在于可自动提取目标特征，发现样本集中特征规律，解决了手动提取特征效率低下、分类准确率低的不足，因此卷积神经网络被广泛应用于图像分类、目标识别、自然语言处理等领域[3]，取得了瞩目的成就。

????????1卷积神经网络的发展历程

????????卷积神经网络最早可以追溯到1943年，心理学家Warren和数理逻辑学家Walter在文献[4]第一次提出神经元的概念，通过一个简单的数学模型将神经反应简化为信号输入、求和、线性激活及输出，具有开创性意义;1958年神经学家Frank通过机器模拟了人类的感知能力[5]，这就是最初的“感知机”，同时他在当时的计算机IBM704上完成了感知机的仿真，能够对三角形和四边形进行分类，这是神经元概念提出后第一次成功的实验，验证了神经元概念的可行性。以上是神经元发展的第一阶段。第一代神经网络由于结构单一，仅能解决线性问题。此外，认知的限制也使得神经网络的研究止步于此。

????????第二代卷积神经网络出现于1985年，GeoffreyHinton在神经网络中使用多个隐含层进行权重变换，同时提出了误差反向传播算法（Backpropagationalgorithm，BP算法）[6]，求解各隐含层的网络参数，优点是理论基础牢固、通用性好，不足之处在于网络收敛速度慢、容易出现局部极小的问题;1988年，WeiZhang提出平移不变人工神经网络[7]（SIANN），将其应用在医学图像检测领域;1989年，LeCun构建了应用于计算机视觉问题的卷积神经网络，也就是LeNet的早期版本，包含两个卷积层、两个全连接层共计6万多个参数，结构上与现代的卷积神经网络模型结构相似，而且开创性的提出了“卷积”这一概念，卷积神经网络因此得名。1998年LeCun构建了更加完备的卷积神经网络LeNet-5[8]并将其应用于手写字体识别，在原有LeNet的基础上加入了池化层，模型在Mnist上的识别准确率达到了98%以上，但由于当时不具备大规模计算能力的硬件条件，因此卷积神经网络的发展并没有引起足够的重视。

????????第三代卷积神经网络兴起于2006年，统称为深度学习，分为两个阶段，2006至2012