基于RISC-V的二值神经网络加速器的研究与设计.pdf

摘要

摘要

深度神经网络由于复杂的网络节点和连接导致模型结构臃肿、存储模型时

Flash容量的压力以及推理时存取对算力巨大开销，在嵌入式系统平台因为性能、存

储器和能耗束缚难以满足实际模型部署和应用。针对低算力、低功耗、低成本的“三

低”嵌入式平台，本文针多层感知机模型、卷积神经网络的网络的权值和激活函数

进行二值化算法硬件化的研究，完成两种二值神经网络加速器的设计，减少矩阵乘法、

二维卷积和批量归一化运算的复杂度以及网络权重的存储资源消耗，加速二值网络推

理速度的同时不仅保持了模型推理的性能，还降低了FPGA推理的能耗。

本文在开源的RISC-V软核处理器上引入了具有加速推理的二值神经网络加速器

的软硬件协同运算的异构平台。首先对多层感知机和卷积神经网络的原理和结构进行

分析，优化了在二值神经网络下的卷积层、批量归一化层、最大池化层的冗余运算的

问题，利用合并运算单元的方法减少了网络层运算之间的内存缓冲级数，使得二值神

经网络加速器更加高效，部署成本更低；其次在MNIST数据集上、自制TTG热成像手

势数据集训练了两种二值神经网络MLP-BNN、CNN-BNN，尤其分析了其中CNN-BNN模

型权重的数字特征，量化了标准差权重为9bit，减少了部分批量归一化层中均值权

重的消耗；然后根据以上可优化的地方，在Verilog仿真中利用并行加速和层次化设

计的思想设计了运算单元、缓冲单元、数据控制单元、权重单元、图像数据单元和最

大值比较单元等Verilog模块，并组成二值神经网络加速器的硬件系统结构，并将作

为协处理器单元挂载到开源的PicoRV32处理器的外设总线上，保证了硬件加速的通

用性；最后将两种加速器结合处理器分别部署在EP4CE10系列，XC7A100T系列的FPGA

硬件平台，在实际环境下验证其二值神经网络推理的性能，如推理速度、推理精度、

FPGA硬件资源消耗以及功耗等指标。

经实验验证可得本文在FPGA内部实现的二值神经网络加速器和RISC-V处理器在

前向推理的过程中，以FPGA平台能跑的最大系统时钟算，MLP-BNN每秒可推理66980

次，CNN-BNN则为9012次；MLP-BNN消耗85%的逻辑单元，CNN-BNN消耗48%的逻辑

单元；两个加速器在FPGA运行的功耗消耗分别是117.36mW和162.00mW；MLP-BNN加

速器的峰值计算能力为14.88GOPS，CNN-BNN加速器则为66.53GOPS。综上所述，本

文提出的二值神经网络加速器在能耗、FPGA内部资源使用率以及推理速度上优于现

有的FPGA加速方法。

关键词：深度神经网络；二值神经网络；FPGA；RISC-V；软硬件协同

I

Abstract

Abstract

Duetothecomplexnetworknodesandconnections,deepneuralnetworks

havebloatedmodelstructures,whichputspressureonFlashcapacitywhen

storingmodels,andrequiressignificantcomputationalpowerforinference.

Theseconstraintsmakeitdifficulttomeetthepracticalrequirementsof

modeldeploymentandapplicationonembeddedsystemplatformsdueto

performance,memory,andenergyconstraints.Toaddresstheneedsoflow-

power,low-computational,