基于FPGA的Transformer加速器研究与设计.pdf

基于FPGA的Transformer加速器研究与设计.pdf

摘要

在目标检测与图像分类领域,CNN(卷积神经网络)和Transformer已被广

泛应用,与之对应的硬件加速器也逐渐普及开来。与主要涉及MAC运算的CNN

不同,Transformer还要涉及LayerNormalization、Softmax等非线性计算,这些

非线性计算确实给加速器设计带来了挑战。当前,面向Transformer网络的专用

硬件加速器仍相对匮乏,其高计算复杂度、巨大的存储需求、有限的内存带宽,

以及并行计算优化的困难,严重阻碍了Transformer

文档评论(0)

1亿VIP精品文档

相关文档