李柏潮-盘古训练与推理通信优化实践-亲和昇腾平台的性能探索-李柏潮.pdfVIP

  • 0
  • 0
  • 约1.39万字
  • 约 24页
  • 2026-08-28 发布于山东
  • 举报

李柏潮-盘古训练与推理通信优化实践-亲和昇腾平台的性能探索-李柏潮.pdf

盘古训练与推理通信优化实践:

亲和昇腾平台的性能探索

演讲人:李柏潮

华为/大模型系统工程通信技术专家

01大模型训练/推理在通信方面面临两大技术挑战

01

02亲和昇腾硬件,加速EP域的AllToAll通信

目录02

03硬件软件双管齐下,加速H2DKVCache加载

03

04总结和展望:减少未被掩盖的通信时间

04

大模型训推在通信方面

两大挑战

背景:MoE模型中KVCacheOffload和EPAllToAll是

通信最关键的两大挑战

KVCache

文档评论(0)

1亿VIP精品文档

相关文档