8.2 深度学习框架与网络模型.pptVIP

寒武纪系列芯片的技术突破：突破了内存带宽的主要性能瓶颈，通过EDRAM技术及多芯片互联，保证神经网络模型完整放于片上，完全无需访问内存突破了片上通讯导致的延迟和功耗，分成的每块内部包含运算部件、神经元数据、突触数据，可以减少90%以上片上通讯时间突破了机器学习算法、变种众多的困难，采用可编程VLIM处理其结构以及灵活的运算部件，支持几乎所有现有的主流机器学习算法典型神经网络芯片——寒武纪DianNao2016年谷歌透露其机器学习专用芯片张量处理器TPU，并于2017年4月官方详细介绍TPU专为深度学习框架TensorFlow进行的ASIC设计脉动阵列处理结构：数据向运算阵列传递和处理有严格流程规定处理峰值92TOPS，比GPU和CPU快15到30倍功耗75W，能效比GPU和CPU提升了30到80倍典型神经网络芯片——谷歌TPU针对深度学习的定制化设计主要计算部件是黄色256*256的8位矩阵乘法单元、非线性神经元计算单元（Activation），及用于归一化和池化的计算单元输入是蓝色的权重数据队列FIFO和蓝色的统一缓冲（UnifiedBuffer）输出是蓝色的累加器（Accumulators）归一化和池化计算单元的运算数据返回统一缓冲区典型神经网络芯片——谷歌TPU脉动（Systolic）阵列处理结构最早由美籍华人计算机科学家孔祥重等提出矩阵乘法和卷积运算中数据是可复用的，同一数据需和不同权重相乘并累加。不同时刻，数据输入只有少数新数据需从外面获取，多数数据是上一时刻数据的移位脉动式数据流，最大化数据复用，减小内存访问次数、内存带宽压力和访存能量消耗典型神经网络芯片——谷歌TPUGPU服务器、TPU服务器、CPU服务器的能效比对比其中，TPU是改进版的TPU；总和（Total）包含主机CPU服务器功耗，增量（incremental）减去主机CPU服务器功耗；GM和WM分别是几何学图形与加权平均值总和能效比，TPU是Haswell的17倍到34倍，是K80的14倍到16倍增量能效比，TPU比CPU高41倍到83倍，比GPU高25倍到29倍典型神经网络芯片——谷歌TPU在Google数据中心，TPU的应用案例有：人工智能系统RankBrain，用来帮助谷歌处理搜索结果街景StreetView，用来提高地图与导航的准确性下围棋的计算机程序AlphaGo，起初跑在CPU+GPU上，在2015年10月和樊麾比赛时使用，当时李世石看到对弈过程后对人机大战很有信心。几个月后的2016年3月，谷歌把运行AlphaGo硬件平台换成TPU，对战局势变得艰难，AlphaGo程序以4:1的总比分获胜；随后该程序在棋类网站上以Master为帐号与中日韩围棋高手进行快棋对决，连续60局无一败绩典型神经网络芯片——谷歌TPUTPU的性能优越的原因：针对深度学习的定制化研发大规模片上内存:24M局部内存，6M的累加器内存低精度(8bit)计算：功耗、速度、运算面积、带宽优势脉动阵列结构：最大化数据复用，减少内存访问软硬件持续优化预测谷歌TPU不会替代GPU和CPUTPU是一款推理芯片，训练仍借助其他芯片TPU通用性太差，谷歌表示不会售卖TPU英伟达宣称最新产品P80推理性能比TPU强2倍典型神经网络芯片——谷歌TPU深度学习框架与网络模型人工智能——为机器赋予人的智能人工智能、机器学习与深度学习人工智能机器学习深度学习1950s1960s1970s1980s1990s2000s2010s模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的技术科学;让机器象人一样思考应用：国际跳棋程序人工智能的分支，研究机器模拟或实现人类的学习行为，以获取新的知识技能，并改善自身性能应用：垃圾邮件过滤一种机器学习方法，模拟人脑机制解释数据，通过组合低层特征形成更加抽象的高层属性类别或特征应用：谷歌视频寻猫训练阶段:输入大量带标注动物图片，训练网络学会辨别推理阶段：输入未标注图片提取图片内容的低层特征，如轮廓分析提取高层的结构特征，如四肢分析获得顶层的抽象概念，如动物类型基于前期训练结果，预测图片内容深度学习的流程深度学习典型算法为卷积神经网络，以2层卷积为例，算法为：输入图像与滤波器、偏置进行卷积，产生卷积层的特征映射图卷积层特征映射图经求和，加权值，偏置，函数处理得到采样层采样层重复上述流程处理后产生新的采样层全连接层提取归类获得足够好的高层特征表达