通过层次序列转换器上的上下文并行性扩展生成推荐.pdfVIP

通过层次序列转换器上的上下文并行性扩展

生成推荐

YueDongHanLiShenLi

yoyoyod@hanli@shenli@

MetaPlatformsMetaPlatformsMetaPlatforms

MenloPark,California,USAMenloPark,California,USAMenloPark,California,USA

NikhilPatelXingLiuXiaodongWang

nikhilp@xingl@xdwang@

本MetaPlatformsMetaPlatformsMetaPlatforms

译MenloPark,California,USAMenloPark,California,USAMenloPark,California,USA

中ChuanhaoZhuge

1

vczhuge@

1MetaPlatforms

1

7MenloPark,California,USA

4

0.摘要将计算沿着序列长度维度分布在多个GPU上，有效地

8

0大规模推荐系统对于处理每日大量的用户交互至关重减少了注意力激活的内存使用量。相比之下，生产排

5名模型通常利用不规则输入张量表示用户交互特征，

2要，需要有效建模高基数和异构特征以确保预测的准

:这引入了独特的CP实现挑战。在这项工作中，我们

v确性。在先前的工作中，我们介绍了分层序列转换器

i为HSTU注意力引入支持不规则张量的上下文并行，

x（HSTU），这是一种基于注意力机制的架构，用于建模

r建立了一种扩展序列维度的基础能力。我们的方法使

a高基数、非平稳流式推荐数据，在生成推荐框架（GR）

支持的用户交互序列长度增加了5.3倍，并且当与分

中提供了良好的扩展性。最近的研究和实验表明，关

布式数据并行（DDP）结合使用时，实现了1.55倍的

注更长的用户历史序列可以显著提高指标性能。然而，

扩展因子。

增加序列长度会带来大量激活计算需求，需要并行解

决方案来有效分片激活内存。在基于变换器的大规模

语言模型中，上下文并行（CP）是一种常用的技巧，它Keywords

推荐系统，生成式推荐器，分层序列转换器，上下文