14_AI硬件功耗优化从芯片级到系统级的能效比提升.docxVIP

AI硬件功耗优化：从芯片级到系统级的能效比提升方案

AI算力的爆发，带来了功耗的爆发，一个万卡的AI集群，一年的电费，就要几个亿，数据中心的PUE，越来越高，能耗，已经成为了AI发展的最大瓶颈。所以，功耗的优化，能效比的提升，成为了行业的核心课题，它不是单一的技术，而是一个系统的工程，从芯片级，到架构级，到系统级，到算法级，全栈的优化，一步步的，把每一度电，都用到刀刃上，支撑起绿色AI的发展。

一、芯片级的优化：从晶体管到架构的极致效率

芯片，是功耗的源头，芯片级的优化，是能效比提升的基础，从晶体管的设计，到架构的创新，我们做了极致的优化。

首先，制程的优化，更小的制程，意味着，晶体管的尺寸，更小，漏电量，更小，功耗，更低。3nm的工艺，比7nm，相同的性能，功耗，降低了50%，但是，制程的优化，越来越慢，所以，我们，也在做架构的创新。

存算一体的架构，是芯片级功耗优化的终极方案，传统的冯诺依曼架构，数据，要在存储和计算之间，来回的搬运，搬运的能耗，是计算的100倍，而存算一体，把计算，做到存储的里面，数据，不需要搬运，就地计算，所以，能效比，提升了100倍。三星的HBM-PIM，就是存算一体的芯片，相比传统的HBM2e，能效比，提升了2.7倍，特斯拉的Dojo芯片，也是存算一体的架构，训练的成本，降到了行业平均的1/5。

然后，稀疏计算的引擎，现代的AI模型，有大量的零值参数，传