2026《分布式存储可重构卷积神经网络研究的国内外文献综述》3000字.docxVIP

PAGE1

分布式存储可重构卷积神经网络研究的国内外文献综述

卷积神经网络是从人工神经网络发展而来的，人工神经网络的研究已有半个多世纪的历史，是对生物大脑通过神经元处理信息的一个模拟。1943年，美国数学家Pitts和心里学家McCulloch利用逻辑数学工具，用形式神经网络表述客观事件，首先提出了第一个神经元的数学模型，称为MP模型，随后1949年，心理学家D.Qhbab提出了神经元学习法则，正确性最后被证实。在MP模型下，Rosenblatt在1958年提出了感知机概念，并设计出第一个感知器，但是由于该感知机无法实现非线性操作，人工神经网络发展经历了一次低潮。在1962年Hubel和Wiesel研究猫大脑视觉皮层时，引出了部分感受视野，形成了卷积神经网络的基础。到1982年Hopfield将Lyapunov函数引入人工神经网络，提出Hopfield模型，随后在1984年用电子电路实现了该模型，指出了人工神经网络的发展方向。在1986年，美国加州圣地亚哥分校Rumehart等人提出了利用误差反向传播进行训练的训练算法BP算法。1998年，YannLecun提出了第一个完整意义的卷积神经网络LeNet-5网络模型，利用BP算法进行神经网络结构的训练，为卷积神经网络的鼻祖，该网络可应用于手写数字的识别中。由于训练网络具有局部性和梯度发散等问题，直到21世纪，卷积神经网络的研究才得到大幅发展，2006年，多伦多大学教授Hinton，提出了逐层非监督的学习训练算法，推进了深度学习训练方法的发展。在2012年Krizhevsky等人提出了AlexNet卷积神经网络，该网络在ImageNet的图像分类大赛将错误率从26.1%降低到了15.3%以压倒性优势夺冠。在AlexNet夺冠后，卷积神经网络成为了研究热点。2013年，Zeiler和Fergus提出的ZFNet网络获得ILSVRC2013分类任务的冠军。2014年，KarenSimonyan等通过增加网络层数来提高卷积神经网络准确率提出了VGG-16网络，VGG-16包含13个卷积层和3个全连接层，将计算错误率降低到6.8%。同年，谷歌提出的GoogLeNetv1网络结构，该网络采用Inception模块结构，该结构融合不同的卷积核对输入层进行特征提取，方便网络的修改。2015年，微软提出的深度残差网络ResNet将ImageNet的错误率降低到3.57%，其准确度超出了人类识别能力。2016年，谷歌卷积神经网络围棋系统AlphaGo战胜世界围棋冠军李世石。深度学习的优异表现体现出更广的发展前景，卷积神经网络为代表的人工智能算法正被研究应用更多领域。

卷积神经网络的优异性能被广泛应用于各种领域，但其网络需要巨大的计算量，对于实时系统平台需要巨大的算力支撑，因此对实时系统需要对卷积神经网络进行加速实现。目前主要的加速方案主要有三种GPU,ASIC,FPGA。用GPU处理器进行加速卷积神经网络是最常用的一种加速方式，其利用片上多存储以及高带宽进行多线程并行计算，其最高运算量可以达到12TFLOP/S的峰值。被广泛应用于在云端服务器、终端电脑以及无人驾驶系统中的边缘计算。虽然GPU在卷积神经网络系统的并行加速上表现很好，但是GPU具有体积大、功耗大，因此在一些电池供电的嵌入式或者边缘计算上难以实施。设计专用加速的ASIC芯片在卷积神经网络应用上也有很高的并行性，2015年，谷歌发布了第一款TPU系列ASIC芯片进行神经网络推理，随后发布了多款TPU系列芯片，达到每秒180万亿次的浮点运算性能，高于英伟达Teslav100系列GPU。2019年8月23日，华为发布商用的Ascend910（昇腾910）芯片，在半精度下运算量达到256万亿次，同年阿里巴巴发布含光800AI芯片，国内人工智能巨头寒武纪公司的Cambricon”系列深度学习加速芯片也取得了不错的应用。虽然ASIC芯片性能好，体积和功耗低，但是其整个芯片的设计实现难度大，开发周期长，费用高，且灵活性低难以得到广泛卷积神经网络的应用。随着集成度的提升，FPGA这种半定制芯片上的资源得到大幅度提升，其丰富的的逻辑单元，可重构性、开发周期短以及后期方便修改等优点，在卷积神经网络加速设计上有足够的优势得到众多学者的青睐。在1990年中期，Cloutier等人在型号为Altera的FPGA上最早实现CNN，其设计实现了虚拟图像处理器(VirtualImageProcessor,VIP)。随后在2009年，Farabet等人提出了一种基于FPGA实现的CNN硬件加速处理器，该加速器包含一个软处理器和一个专用的硬件卷积器，该结构充分利用FPGA内部的DSP资源进行卷积层的并行性来加速CNN的前向计算，软处理器进行控