基于FPGA异构加速器软硬协同的设计与实现.pdfVIP

摘要

随着嵌入式的发展，异构计算平台因其能够结合不同计算架构的优势而日益受到

关注。特别是在需要处理大量数据和复杂计算的应用场景中，如深度学习、图像处理

和数据分析等。ARM与FPGA相结合是在异构计算平台中常见的计算架构，它们拥

有各自的优势和特性。卷积神经网络(CNN)广泛应用于图像和语音识别，但其模型通

常需要大量的计算和存储资源，对硬件要求较高。因此，如何在ARM+FPGA异构平

台上高效部署和运行CNN成为了一个重要的研究课题。

本文深入探讨了ARM和FPGA构成的异构计算平台在网络模型研究和优化中的

应用，以及如何通过算法和存储优化提升卷积神经网络在硬件上的运行和部署效率。

具体内容上，本文通过在算法层面合并批归一化层与卷积层，并采用动态定点16位量

化策略对模型参数和数据进行量化，有效降低了模型复杂度和硬件资源消耗，提高了

计算效率；在系统架构设计上，通过合理划分ARM处理器与FPGA的任务，并优化

数据存储结构与交互方式，建立了一个高效的异构计算平台，减少了不必要的数据访

问，提升了处理效率；硬件部署方面，通过构建高效的流水线模型，采用循环展开策

略和高级综合优化，特别是在卷积操作上，实现了数据传输时间的减少和计算性能的

提升，展示了在提高数据重用率和并行处理性能方面的显著成效。

本文提出了一种基于ZYNQ框架的YOLOv4-Tiny目标检测算法加速器设计方法。

在FPGA开发板上部署了YOLOv4-Tiny目标检测算法，实验结果表明，在FPGA上

达到了18.32GOP/s的计算性能和6.66GOP/s/W的能效，与相同平台相比计算性能提

高了1.81倍，能效提高了1.86倍；与未经量化的CPU平台相比，计算性能提高了0.51

倍，能效提高了34倍，加速单张图像的时延减少到了383ms，该设计方法可以在目标

检测和跟踪领域具有较好的检测性能。

本文还研究了一种基于高层次综合(HLS)和PYNQ框架的图像处理硬件加速器。

该方案充分利用了FPGA的并行处理能力，同时解决了FPGA开发难度大、移植性不

佳的问题。研究首先选取图像缩放算法作为实验案例；接着在ZYNQ平台上，依据软

硬件协作的原则分配各项任务，利用HLS工具和C++语言对图像处理算法进行实现与

优化，进而将其转换为RTL描述，并最终封装成IP核；在Vivado2018.3环境下构建

硬件测试平台，并使用JupyterLab进行实验验证与性能分析。实验结果显示，该加速

器将图像缩放处理时间从CPU的1110ms减少至FPGA的213ms，实现了近5倍的速

度提升。

综上所述，本文通过研究ARM和FPGA异构计算平台在网络模型优化和算法加

速方面的应用，不仅展示了具体的加速器设计实现案例，而且还强调了异构计算技术

在提高计算效率、优化资源利用和促进技术创新方面的重要性。为未来网络模型的研

究和算法加速提供更加高效、灵活的计算平台解决方案。

关键词：异构计算平台；卷积神经网络；ZYNQ；HLS；PYNQ

Abstract

Withthedevelopmentofembedded,heterogeneouscomputingplatformsaregetting

moreandmoreattentionduetotheirabilitytocombinetheadvantagesofdifferent

computingarchitectures.Thisisespeciallytrueinapplicationscenariosthatrequirethe

processingoflargeamountsofdataandcomplexcomputations,suchasdeeplearning,

imageprocessing,anddataanalytics,etc.ThecombinationofARMandFPGAisacommon

computingarchitectureinheterogeneous