5_存算一体AI芯片技术解析.docxVIP

存算一体AI芯片：突破冯诺依曼瓶颈的架构与工艺实现

在传统的计算机架构中，冯诺依曼瓶颈已经困扰了行业数十年。计算单元和存储单元的分离，导致数据需要在两者之间频繁搬运，而搬运数据的能耗，是计算本身能耗的上百倍。随着AI模型的规模越来越大，这一矛盾变得越来越突出：英伟达的CEO黄仁勋曾坦言，“GPU有70%的时间在等待数据”。在这一背景下，存算一体（Computing-in-Memory，CIM）技术，作为一种革命性的架构创新，成为了突破冯诺依曼瓶颈的终极方案，它将计算和存储融合在一起，让数据在存储的位置就完成计算，彻底消除了数据搬运的开销。

一、冯诺依曼瓶颈：AI算力的终极障碍

要理解存算一体的价值，首先要明白冯诺依曼瓶颈的本质。传统的冯诺依曼架构，把计算和存储分开，CPU/GPU是计算单元，内存/显存是存储单元。当CPU要计算的时候，需要先把数据从存储单元读到缓存，再读到寄存器，计算完成后，再把结果写回存储单元。这个过程中，数据的搬运，消耗了绝大多数的能量和时间。

根据研究，在传统的芯片中，一次32位浮点运算的能耗，大约是1pJ，而把这32位数据从DRAM内存读到CPU，能耗大约是64pJ，是计算本身的64倍。如果是从片外的存储读取，这个差距会更大。这就是为什么，AI大模型的训练，90%的能耗都花在了数据搬运上，而不是计算本身。

随着AI模型的规模从数十亿参数增长到万亿参数，这一矛