软硬件协同设计的异构CNN加速器.pdfVIP

第46卷第2期华侨大学学报（自然科学版）Vol.46No.2

2025年3月JournalofHuaqiaoUniversity(NaturalScience)Mar.2025

D0I:10.11830/ISSN.1000-5013.202409017

软硬件协同设计的异构CNN加速器

谢志豪1,2，李国刚1.2

（1.华侨大学信息科学与工程学院，福建厦门361021；

2.华侨大学厦门市专用集成电路与功率半导体系统重点实验室，福建厦门361021）

摘要：为解决卷积神经网络（CNN)高效部署的挑战，提出一种基于软硬件协同设计的异构CNN加速器，并

在YOLOv4-tiny模型上进行验证。搭建基于高级精简指令集机器（ARM)处理器与现场可编程门阵列(FG-

PA)的异构系统。通过高层次综合(HLS)将可并行执行的计算单元映射为FPGA端寄存器传输级(RTL)知

识产权（IP)；ARM处理器控制系统的协同工作与IP核的调度，最终实现前向推理加速。结果表明：该异构

CNN加速器的工作频率为130MHz，功耗为2.809W，推理速度达到511ms，吞吐率为13.40GOPS；相较于

桌面端图形处理单元（GPU)、中央处理单元（CPU)及主流嵌人式AI加速平台，该设计在推理速度与功耗之

间取得了良好平衡，同时关键性能指标均有显著提升；所设计异构CNN加速器在边缘计算场景中表现出优

异性能，能够满足实际部署需求。

关键词：现场可编程门阵列（FGPA)；硬件加速；软硬件协同设计；高层次综合

中图分类号：TP391.4文献标志码：A

HeterogeneousCNNAcceleratorBasedon

Hardware-SoftwareCo-Design

XIEZhihaol-2,LIGuogang.l2

(1.SchoolofInformationandEngineering,HuaqiaoUniversity,Xiamen361021,China;

2.XiamenKeyLaboratoryofASICandPowerSemiconductorSystem,HuaqiaoUniversity,Xiamen361021,China)

Abstract:Toaddressthechallengesassociatedwiththeefficientdeploymentofconvolutionalneuralnetwork

(CNN),aheterogeneousCNNacceleratorbasedonahardware-softwareco-designisproposedandvalidatedon

theYOLOv4-tinymodel.Theheterogeneoussystemisbuiltwithanadvancedreducedinstructionsetmachine

(ARM)processorsandafieldprogrammablegatearray(FPGA).Throughhigh-levelsynthesis(HLS),the

computationalunitsthatcanbeexecutedinparallelaremappedtoaregistertransferlevel(RTL)intellectual

property(IP)onFPGA.TheARMprocessorsmanagethecollaborativeoperationsofthesystemandthe

schedulingoftheIPcore,ultima