神经网络加速器的计算架构及存储优化技术研究.pdfVIP

摘 要 摘 要 近年来，通用处理器的性能增长逐渐达到瓶颈，难以应对不断涌现的新兴应 用场景需求。神经网络算法的蓬勃发展为新型计算系统架构的探索提供了广阔空 间。“通用处理器 神经网络加速器”的异构计算系统，和以神经网络加速器为中 心的人工智能计算系统，分别为通用计算和人工智能领域的专用计算带来了性能 和能效更优的解决方案。神经网络加速器在这两类系统中的地位尤其重要。 本文指出神经网络加速器设计在计算模式、计算架构和存储优化方面尚存在 不足：需要建模计算模式与执行目标的数学关系，以便在不同的执行目标和网络 结构下选择最优的计算模式；需要支持动态重构逻辑的计算架构，在网络内的各 层执行时能灵活调整其计算模式，达到最优的执行效果；需要引入高密度存储器 解决访存问题，而同时要对其带来的额外开销进行优化。 本文针对以上需求，总结出两套神经网络加速器的优化设计方法：基于“计 算模式动态重构”的计算架构设计方法，和基于“器件特性容错能力”的存储优 化方法。以此为指导思想，本文主要完成三项研究工作： 本文设计了面向通用神经网络近似的神经网络计算架构 。 架构以 降低计算延迟为执行目标，通过动态地重构硬件资源解决神经网络拓扑结构 与固定的硬件资源间潜在的失配问题，相比于传统通用计算系统，可获得 倍的加速器性能加速比，和 倍的应用级加速比。 本文设计了面向专用人工智能领域的神经网络计算架构 。 架构以 提高计算吞吐和能效为执行目标，通过动态地重构硬件资源实现混合数据复 用模式和并行卷积映射方法，可获得高达 的计算资源利用率和 倍的 计算吞吐，相比于国际顶尖工作有 到 个数量级的系统能效提升。以 计算架构为基础的人工智能计算芯片 已通过流片验证。 本文提出了基于数据保持时间的神经网络存储优化框架 。 框架 利用神经网络算法的容错性和计算过程中的数据暂存性，在神经网络加速器 中引入 高密度存储同时几乎不需要对其刷新，可减少 的片外 访存和 的整体系统能耗。 本文的三项研究工作与两套优化设计方法相辅相成。研究工作本身均已进行 充分的实验验证，具备很高的实用价值。优化设计方法不仅为研究工作中提供了 有力支撑，对神经网络加速器架构未来的研究方向同样具有指导意义。 关键词：神经网络加速器；可重构计算；计算模式；计算架构；存储优化 目 录 目 录 第1 章 绪论 1 研究背景 研究现状 神经网络算法的发展历程 神经网络加速器的研究现状 研究动机 研究思路与研究内容 研究思路 研究内容 第2 章 面向通用神经网络近似的神经网络计算架构RNA 14 引言 问题背景 神经网络近似与加速 通用架构模型 计算模式 架构概览 （ ）计算模式 （ ）计算模式 （ ）计算模式 调度框架 架构设计 架构的 设计 架构的互连设计 架构的控制器设计 实验结果 实验设置 架构的版图和硬件指标 架构的性能分析 架构的参数探索 本章小结