AI芯片产业生态梳理(1).pptx

AI芯片产业生态梳理

AI芯片作为产业核心，也是技术要求和附加值最高的环节，在AI产业链中的产业价值和战

略地位远远大于应用层创新。腾讯发布的《中美两国人工智能产业发展全面解读》报告显示，基础层的处理器/芯片企业数量来看，中国有14家，美国33家。;

AI芯片分类1;

?利用训练好的模型，使用新的数据去“推理”出各种结论，

如视频监控设备通过后台的深度神经网络模型，判断一张抓拍到的人脸是否属于黑名单。

?Inference的计算量相比Training少很多，但仍然涉及大量的矩阵运算。

?在推理环节，GPU、FPGA和ASIC都有很多应用价值。;

?在设备端Inference领域，智能终端数量庞大且需求差异较大，

?如高级辅助驾驶ADAS、虚拟现实VR等设备对实时性要求很高，推理过程不能交由云端完成，

?要求终端设备本身需要具备足够的推理计算能力，

?一些低功耗、低延迟、低成本的专用芯片也会有很大的市场需求。;

全定制化ASIC芯片;;;

u2007年以前，人工智能研究受限于当时算法、数据等因素，对于芯片并没有特别强烈的需求，通用的CPU芯片即可提供足够的计算能力。

uGoogleBrain项目，使用包含16000个CPU核的并行计算平台，训练超过10亿个神经元的深度神经网络。

uCPU的串行结构并不适用于深度学习所需的海量数据运算需求，

u用CPU做深度学习训练效率很低，在早期使用深度学习算法进行语音识别的模型中，拥有429个神经元的输入层，整个网络拥有156M个参数，训练时间超过75天。

u在内部结构上，CPU中70%晶体管都是用来构建Cache(高速缓冲存储器)和一部分控制单元，负责逻辑运算的部分(ALU模块)并不多，指令执行是一条接一条的串行过程。;

u2010年NVIDIA就开始布局人工智能产品，

u2014年发布了新一代PASCALGPU芯片架构，这是NVIDIA的第五代GPU架构，也是首个为深度学习而设计的GPU，它支持所有主流的深度学习计算框架。

u2016年上半年，NVIDIA又针对神经网络训练过程推出了基于PASCAL架构的TESLAP100芯片以及相应的超级计算机DGX-1。DGX-1包含TESLAP100GPU加速器，采用NVLINK互联技术，软件堆栈包含主要深度学习框架、深度学习SDK、DIGITSGPU训练系统、驱动程序和CUDA，能够快速设计深度神经网络(DNN)，拥有高达

170TFLOPS的半精度浮点运算能力，相当于250台传统服务器，可以将深度学习的训练速度加快75倍，将CPU性能提升56倍。;

uTraining市场目前能与NVIDIA竞争的就是Google。

u今年5月份Google发布了TPU2.0，TPU(TensorProcessingUnit)是Google研发的一款针对深度学习加速的ASIC芯片，第一代TPU仅能用于推理，而目前发布的TPU2.0既可以用于训练神经网络，又可以用于推理。

uTPU2.0包括了四个芯片，每秒可处理180万亿次浮点运算。Google还找到一种方法，使用新的计算机网络将64个TPU组合到一起，升级为所谓的TPUPods，可提供大约11500万亿次浮点运算能力。Google表示，公司新的深度学习翻译模型如果在32块性能最好的GPU上训练，需要一整天的时间，而八分之一个TPUPod就能在6个小时内完成同样的任务。

u目前Google并不直接出售TPU芯片，而是结合其开源深度学习框架TensorFlow为AI开发者提供TPU云加速的服务，以此发展TPU2的应用和生态，比如TPU2同时发布的

TensorFlowResearchCloud(TFRC)。;

u传统CPU/GPU厂家Intel和AMD也在努力进入这Training市场，如Intel推出的XeonPhi+Nervana方案，

uAMD的下一代VEGA架构GPU芯片等，但从目前市场进展来看很难对NVIDIA构成威胁。

u初创公司中，英国Graphcore公司的IPU处理器(IntelligenceProcessingUnit)据介绍也同时支持Training和Inference。该IPU采用同构多核架构，有超过1000个独立的处理器；支持All-to-All的核间通信，采用BulkSynchronousParallel的同步计算模型；采用