基于模拟延时的高能效神经网络硬件设计与实现.pdfVIP

摘 要 摘 要 随着深度学习的不断发展和应用，深度神经网络算法己经在视觉、语音等多个领 域中发挥了重要作用。神经网络的规模日益庞大、计算愈发复杂造成网络加速器的高 能耗、低能效问题。而移动通信设备通常有低功耗、高能效的需求，这就对加速器芯 片应用于移动通信设备造成了困难。 针对以上问题和困难，本课题采用了二值化卷积神经网络（Binary Convolutional Neural Networks ，BCNN ），针对混合国家标准与技术研究所数据库（Mixed National Institute of Standards and Technology，MNIST ）数据集，完成了基于模拟延时的神经网 络加速器设计。为实现低能耗、高能效的目标，首先，针对加速器的核心计算单元， 采用低功耗的模拟延时链组成的计算阵列替代了同或门配加法树的计算阵列；其次， 优化了批量归一化层的计算，节省了该层的硬件开销和能耗；然后，采用了有效的计 算模式，实现了有效的数据复用和卷积映射，计算阵列的利用率达到 100%；最后，提 出了基于池化的卷积稀疏算法，减少了 14.3%的计算周期、降低了卷积等计算的功耗。 本课题完成了两款加速器芯片的设计。其中第一款芯片是采用了模拟延时链、批 量归一化优化方法和计算模式优化的二值化卷积网络加速器芯片，并完成了流片验证 2 和测试。其采用了 TSMC 28nm CMOS 工艺，整个加速器芯片面积为 1.92×1.35mm 。 芯 片实测结果表明，其工作电压范围为 0.42V~0.9V ，对应工作频率范围为 25MHz~500MHz ，能效为基于池化的卷积稀疏算法。另一款二值化卷积网络加速器芯 片在第一款芯片基础上添加了基于池化的卷积稀疏算法，并完成了仿真验证。在 TSMC 28nm CMOS 工艺下仿真结果表明，其电压范围为 0.5V~0.9V，工作频率范围为 25MHz~500MHz ，能效可达 97.4TOPS/W~13.8TOPS/W 。与国内外同类成果的对比结果 表明，本课题的两款加速器芯片所采用的方法对加速器降低能耗、提高能效具有不错 的效果。 关键词：二值化卷积神经网络，加速器，模拟延时，计算模式，池化 I Abstract Abstract With the development and application of deep learning, deep neural network have played an important role in many fields. The increasing size of neural networks and the increasing complexity of computing will inevitably lead to the problem that is high energy consumption and low energy efficiency of network accelerators. Mobile communication devices often have requirements of low power consumption and high energy efficiency, which makes it difficult to apply accelerator chips to mobile communication devices. This paper adopts a binary convolutional neural network and completes the neural network accelerator design based on analog delay for the MNIST d