Compute-in-X技术突破AI数据传输瓶颈与内存挑战.pdfVIP

F1:Compute‑in‑X(CiX)：克服AI处理中的数据

瓶颈

组织者：

：GeoffreyW.Burr，Research，加州圣何塞Jun

Deguchi，铠侠（Kioxia），川崎EricWang，台积电

（TSMC），新竹Chih-ChengHsieh，国立大

学，新竹

Champions：西部数据，加利福尼亚州米尔皮塔斯法

提·哈姆扎奥卢，英特尔，俄勒冈州希尔斯伯罗

Kyu-Hyoun(KH)

KimT.J.Watson约

克敦高地，纽约

随着网络和数据集规模的持续增长，数据的移动——从层次结构的各个层级到计算引擎之间往返传输——变得至关重要。在

的情况下，这种数据移动可能会开始限制未来处理系统在系统性能和能效方面的进一步提升。

在数据或生成的位置直接进行处理，而不是在各处来回移动数据，这一理念催生了大量有前景的“Compute‑in‑X”系统概念。这里的X可以是存

储器阵列、器、器封装、设备、传感器、网络等。

本次将重点展示此类“Compute‑in‑X”系统概念的进展，以及为SSCS社区带来的相关近期和机遇。

AI内存及其解决方案——面向数据流SwahVenkataramani,T.J.

Watson,YorktownHeights,NY

深度神经网络（DNN）在多个领域执行复杂AI任务的成功在很大程度上归功于规模——网络的规模、训练所用数据集的

规模等。硬件专业化和加速被认为是满足DNN计算需求的关键。DNN计算原语的规律性允许在不同层次上进行并行化，

并且非常适合采用大量密集/稀疏计算阵列的设计。然而，整体性能和利用率的关键在于为计算引擎数据的

子系统的设计。在本次的第一部分，重点介绍DNN带来的内存，以及不同领域和部署场景中DNN需求的

异构性。第二部分将聚焦于面向DNN的超低精度数据流。深入探讨软硬件设计技术，以缓解其内存。

SwahVenkataramani是位于纽约州约克敦高地的T.J.Watson的研究人员。此前，他于2016年获得普渡大学电

气与计算机工程博士。他的研究包括机器/深度学习和近似计算的硬件和软件优化，并且是架构和

软件堆栈的技术。他的研究曾在DATE2019、DAC2018、TECHCON2014获得3项最佳奖，并在ISLPED2014、

DAC2016、DATE2017、HiPC2019获得4项最佳提名。他的博士研究得到了英特尔计算力博士奖学金和Bilsland

Dissertation奖学金的支持，并且他是ACMSIGDADAC博士2016的获奖者。在