深度学习及其硬件加速.pptVIP

对TrueNorth的评价 不同于冯诺依曼架构，将处理、存储、通信集成在一起 尝试在硅片中模仿人脑以大规模平行方式处理信息 向社会步入认知计算机时代迈出重要一步 短期看，TrueNorth情况不乐观 生态系统差编程困难 缺乏高效的训练算法 不具备调整的灵活性 典型神经网络芯片——IBM TrueNorth 2016年中科院计算所正式发布神经网络处理器寒武纪 针对深度学习领域的专用芯片 性能、功耗和面积上，比CPU/GPU有百倍优势 寒武纪系列已包含四种原型处理器： 寒武纪1号（英文名DianNao，面向神经网络的原型处理器结构） 寒武纪2号（英文名DaDianNao，面向大规模神经网络） 寒武纪3号（英文名PuDianNao，面向多种机器学习算法） 寒武纪4号（英文名ShiDianNao，面向视频处理特定领域） 配套首个深度学习指令集Cambricon(DianNaoYu) 直接面对大规模神经元和突触的处理 一条指令即可完成一组神经元的处理 对神经元和突触数据传输提供一系列支持 典型神经网络芯片——寒武纪DianNao 片上存储：芯片内含三块片上存储，用于存储input的NBin、output的NBout和神经网络模型权重参数的SB；片上存储与片外通过DMA通信 运算逻辑：核心计算部件为由三级流水线组成NFU NFU和片上存储的时分复用： 运行时，网络模型参数依次被加载到SB，每层神经layer的输入数据被依次加载到NBin，layer计算结果写入到NBout NFU里基础计算不会与具体 的神经元或权重参数绑定 灵活性和尺寸相较于全硬件 方案有明显改进 典型神经网络芯片——寒武纪DianNao DianNao是寒武纪系列的第一个原型处理器结构 单核，主频0.98GHz，峰值性能每秒4520亿次神经网络基本运算 65nm工艺，面积3.02mm2，功耗0.485W， 性能超主流CPU核100倍，面积和功耗仅为1/10 性能与主流GPU相当，面积和功耗仅为1/100 典型神经网络芯片——寒武纪DianNao DaDianNao在DianNao的基础上进一步扩大处理器的规模 16个处理器核和更大的片上存储 多芯片间直接高速互连，避免内存访问开销 28nm 工艺，主频606MHz，面积67.7mm2，功耗16W 性能超过主流GPU 21倍，能耗仅为主流GPU的1/330 典型神经网络芯片——寒武纪DianNao 多用途机器学习处理器PuDianNao 支持k-最近邻、支持向量机、神经网络等近十种代表性机器学习算法 主频为1GHz，峰值性能每秒10560亿次基本操作 65nm工艺，面积3.51mm2，功耗0.596W 性能与主流GPU相当，面积和功耗仅为主流GPGPU百分之一量级 典型神经网络芯片——寒武纪DianNao 2016年成果ShiDianNao 传感器可直接对图像进行流式识别处理，消除对图像的读写操作 用比较小的卷积神经网络在芯片上处理，消除对模型的读写操作 65nm工艺，面积4.86mm2，功耗0.32W 性能与CPU/GPU/专用加速器比，有50/30/2倍的提升 典型神经网络芯片——寒武纪DianNao 应用案例：ShiDianNao在系统中进行深度学习的模式识别，经训练后具有类似人脑的识别能力，可从图像中识别出猫 正在进行商业化推广，将寒武纪IP盒子或芯片嵌入到传统手机或个人电脑主板，极大提高处理速度 典型神经网络芯片——寒武纪DianNao 寒武纪系列芯片的技术突破： 突破了内存带宽的主要性能瓶颈，通过 EDRAM 技术及多芯片互联，保证神经网络模型完整放于片上，完全无需访问内存 突破了片上通讯导致的延迟和功耗，分成的每块内部包含运算部件、神经元数据、突触数据，可以减少 90% 以上片上通讯时间 突破了机器学习算法、变种众多的困难，采用可编程 VLIM 处理其结构以及灵活的运算部件，支持几乎所有现有的主流机器学习算法 典型神经网络芯片——寒武纪DianNao 2016年谷歌透露其机器学习专用芯片张量处理器TPU，并于2017年4月官方详细介绍TPU 专为深度学习框架TensorFlow进行的ASIC设计 脉动阵列处理结构：数据向运算阵列传递和处理有严格流程规定 处理峰值92TOPS，比 GPU 和 CPU 快 15 到 30 倍 功耗75W，能效比 GPU 和 CPU提升了30 到 80 倍 典型神经网络芯片——谷歌TPU 针对深度学习的定制化设计 主要计算部件是黄色256*256的8位矩阵乘法单元、非线性神经元计算单元（Activation），及用于归一化和池化的计算单元 输入是蓝色的权重数据队列FIFO和蓝色的统