基于FPGA的YOLOv5加速器设计.pdf

基于FPGA的YOLOv5加速器设计

摘要

现代神经网络模型的结构越来越复杂、深度越来越深、参数量也越来越大，由此

而导致了对专用AI加速器的巨大需求。但目前的AI加速器设计研究依旧集中在对浅

层神经网络的加速设计，缺乏对深层神经网络模型的硬件加速器设计及优化研究。本

文基于此选择FPGA为硬件平台，选择YOLOv5算法为深层网络模型，探究对于深层

神经网络加速器的架构设计，并给出了一种对于深层神经网络硬件加速的解决方案。

本文主要工作如下：

一、对YOLOv5模型进行拆解分析，并通过软硬件协同设计思想完成任务分配，

探究对深层神经网络的推理加速实现方案。确定硬件加速器设计的重心为卷积和池化

模块，针对模型中的关键计算模块从硬件角度进行并行化分析和优化，提出了关键模

块的高性能并行计算架构。同时提出采用动态定点计算方法对模型进行量化处理，在

节省硬件计算资源的基础上进一步提高加速器性能。

二、在各个重点计算模块并行计算架构的基础上，设计了加速器的整体加速架构，

并对其内部的结构细节进一步优化设计。主要设计了数据IO模块、卷积并行模块和池

化模块3个重点的计算和数据传输模块。同时根据动态定点数的计算特性设计了动态

定点量化计算单元，进一步提高了硬件加速器计算性能。

三、在ZC702上实现该加速器架构，并部署YOLOv5模型到该加速器中。同时为

了保证性能测试的准确性，在该开发板上移植最小Linux系统，完成整个加速器的性

能测试，最后对该加速器的资源使用情况进行分析，并与其他相关工作进行对比。该

加速器达到了19.94GOPs的吞吐率，功耗只有2.9W。其推理速度与i5-9700相比提高

20.4倍，与ZC702上的ARMA9相比提高59.16倍。

关键词：现场可编程逻辑门阵列；YOLOv5；加速器设计；深度神经网络

基于FPGA的YOLOv5加速器设计

Abstract

Thestructuresofmodernnetworkmodelshavebecomeincreasinglyintricate,with

deeperlayersandlargerparametersizes.Asaconsequence,thereisasignificantsurgeinthe

demandfordedicatedAIaccelerators.However,mostrecentresearchesonAIaccelerator

designhavebeenfocusedonsomeneuralnetworkswithshallowlayers,therebyneglecting

thedomainofhardwareacceleratordesignandoptimizationfordeeperneuralnetworkmodels.

Inlightofthat,thepaperaimstoaddressthisresearchgapbyselectingFPGAasthehardware

platformandtheYOLOv5algorithmastherepresentativedeepnetworkmodeltoinvestigate

thearchitecturedesignfordeeperneuralnetworkaccelerators.

First,weconductacomprehensiveanalysisoftheYOLOv5modelbydissectingits

components.Byemployingsoftwareandhardwareco-designapproach,thecomput