神经网络加速器架构概述.pdf

中国科学:信息科学2022年第52卷第4期:596–611

SCIENTIASINICAInformationis

纪念清华大学电子工程系成立周年专刊评述

神经网络加速器架构概述

*

陈怡然王一土

DepartmentofElectricalandComputerEngineering,DukeUniversity,DurhamNC27708,USA

*通信作者.E-mail:yiran.chen@

收稿日期:2021–12–07;修回日期:2022–01–19;接受日期:2022–01–26;网络出版日期:2022–03–29

摘要如今,随着数据需求的增长以及硬件算力性能的提升,人工智能得到越来越广泛的应用.其中,

神经网络算法已经被成功地用于解决一些实际问题,例如人脸识别、自动驾驶等.尽管这些算法有着

卓越的表现,但其在传统硬件平台上的计算性能仍然不够高效.因而,一些为神经网络算法定制的计

算平台应运而生.本文将总结一些典型的神经网络加速器架构设计,包括计算单元、数据流控制、所

加速的不同神经网络的特点,以及在新兴计算平台上设计加速器的考量等.最后我们也将提出对神经

网络加速器未来的展望.

关键词人工智能,神经网络,体系结构,加速器

引言

当前,人工智能(artificialintelligence,AI)已经在生活中无处不在,例如手机的人脸识别、汽车的

自动驾驶、广告的自动推荐等.AI之所以能被广泛应用,与三大因素密切相关:算法、数据与算力.数

据为算法提供“学习”的来源,也是算法所应用的对象;硬件则为算法的实际运行提供算力支撑.但随

着摩尔定律(Moore’slaw)不断逼近物理极限,传统通用的硬件平台已经难以高效处理AI算法,特别

是复杂的神经网络(neuralnetwork,NN)的推理与训练.因而,为NN定制硬件加速平台已经成为一

个重要并且热门的话题.

研究背景

长期以来人类一直在努力尝试创造具有智能意识的人造生物,这也就是所谓AI概念的起源.美

国达特茅斯学院(DartmouthCollege)最早于1956年便开始了关于AI的立项研究.在随后的几十

年中,AI这个研究领域经历了起起落落.最近由于大数据的普及和计算能力的快速增长,AI重新获得

了巨大的关注和投资.而其中机器学习(machinelearning,ML)不仅在学术界备受关注,也成功应用于

解决工业界的许多问题.

引用格式陈怡然王一土神经网络加速器架构概述中国科学信息科学

⃝《中国科学》杂志社

中国科学:信息科学第52卷第4期

ML算法最初是为模仿人类大脑行为所设计的.与人脑中的生物神经系统类似,机器学习算法中

的两个基本功能单元是突触(synapse)和神经元(neuron).突触负责信息处理,神经元负责特征提取.

而神经元模型又有很多种类,例如sigmoid,ReLU以及Integrate-and-Fire等模型.而这些非线性的

神经元模型都具有特征提取的功能并且适合NN训练.后来,一些“生物启发式”的模型被提出(例

如将输入抽象为脉冲信号等),其主要是以数学方法去实现更高层次的功能.总之,现代ML算法大致

分为两类:人工神经网络(artificial