电子行业TPU，为更专用的AI计算而生.docxVIP

正文目录

十年磨一剑，TPU引领AI芯片时代 3

TPU如何发展而来？ 3

TPU优势何在？ 4

芯片层面：能效王者，架构设计之美淋漓尽致 4

集群层面：算力利用率是最好的证明 8

谷歌视角：如何理解TPU的生态位？ 10

TPU商业模式何解？ 11

为什么谷歌TPU能够成功？ 11

国产TPU厂商中昊芯英崭露头角 12

风险提示 14

图表目录

图表1：谷歌TPU发展史 3

图表2：主流AI芯片架构及主要厂商 4

图表3：TPU和GPGPU对比图 4

图表4：通用处理器CPU和GPU的逻辑架构 5

图表5：张量的图形化表达 6

图表6：脉动阵列模型与一个乘累加单元 6

图表7：浮点精度的特点与应用场景 7

图表8：部分人工智能芯片支持的数值格式 8

图表9：算力利用率 8

图表10：TPUv4和A100在各种模型上的训练效果 9

图表11：TPUv4和A100在训练上的成本比较 9

图表12：谷歌自研光学芯片Palomar的性能 9

图表13：全球数据中心加速器年出货量 10

图表14：AFM模型和其他模型性能对比 11

图表15：顶尖公司对TPU或类TPU的探索 12

图表16：产品性能比对图 12

图表17：中昊芯英营收（单位：亿元） 13

图表18：各省算力规划 14

十年磨一剑，TPU引领AI芯片时代

TPU如何发展而来？

简而言之，为更专用的AI计算而来。2013年，GoogleAI负责人发现，如果有1亿安卓用户每天使用手机语音转文字服务3分钟，消耗的算力就已是谷歌所有数据中心总算力的两倍。而传统的通用CPU以及专攻图形加速、视频渲染等复杂任务GPU无法满足深度学习工作负载的巨大需求，同时存在效率较低、专用运算有限等问题。于是，为探索出更具成本效益、节能的机器学习解决方案，谷歌毅然决定自行研发机器学习专用的处理器芯片，并于2015年宣布第一代TPU芯片（TPUv1）在内部上线，随后开启了长达10年的TPU更新迭代。

图表1：谷歌TPU发展史

来源：Google，

作为一种AI芯片，TPU是专用集成电路（ASIC）的代表。主流AI芯片架构包括GPGPU、ASIC和FPGA。GPGPU通用性强，生态完善，GPGPU的主要供应商英伟达是AI市场的绝对龙头，但GPGPU存在着成本高等问题；ASIC虽然算力强大，功耗小，但相较于GPGPU在通用计算上稍有欠缺；FPGA更具灵活性，也具有足够的算力，但相对开发周期长，复杂算法开发难度大，成本昂贵。TPU专为单一特定目的而设计：用以运行构建AI模型所需的独特矩阵和基于矢量的数学运算。其架构专为矩阵乘法而设计，这使它们能够处理大量数据以及复杂的神经网络。需要说明的是，我们也看到相关研究将TPU归类为DSA（专用领域架构处理器），因为ASIC是加速某一项功能，而DSA是加速某一类功能。但总体上ASIC和DSA的特征较为相仿，本文不作进一步区分。

图表2：主流AI芯片架构及主要厂商

来源：中兴文档，凡亿企业培训，半导体产业纵横，满天芯，元宇宙投融邦，半导体行业观察，中昊芯英科技，芯榜，与非网eefocus，

TPU优势何在？

芯片层面：能效王者，架构设计之美淋漓尽致

六代版本更新，与GPGPU平分秋色。我们将历代TPU以及同时代的GPGPU进行梳理。首先，我们观察到同代TPU与GPGPU大多数处于同代或相近制程。第四代TPU已采用7nm制程，据TheNextPlatform推测第五代/第六代TPU分别采用5nm/4nm制程，而英伟达Ampere/Hopper/Blackwell架构分别采用7nm/4nm/4nm制程。在算力上，谷歌目前暂时落后一代。2024年谷歌发布第六代TPUTrillium，实现最大算力926TFLOPS（BF16）/1852TFLOPS（INT8），相较于第五代TPUv5e和v5p实现了飞跃式上升，比肩英伟达2023年发布的H100，对应算力为989TFLOPS（FP16）

/1978TFLOPS（INT8orFP8）。但在性能功耗比上，我们认为谷歌优势显著。谷歌并未披露最新产品的功耗指标，我们从前代产品可以窥见一二——2021年发布的第四代TPUv4性能功耗比为0.89-1.31TOPS/W，而英伟达同代产品A100（2020年