EC2 模块专家系统: 自适应端云管道协作支持可扩展的专家混合推理.pdfVIP

EC模块专家系统:自适应端云管道协作支持可扩展的专家混合推理

11,311,2

ZhemingYang,YunqingHu,ShengSun,WenJi

1InstituteofComputingTechnology,ChineseAcademyofSciences

2InstituteofAlforIndustries

3UniversityofChineseAcademyofSciences

Abstract在一系列复杂的AI任务中实现了最先进的性能。

尽管有这些优势，高效地在实际环境中部署MoE

混合专家（MoE）范式作为一种有前景的解决方案，能

模型仍然充满挑战(Liu,Wang,andWu2025)。与传统

够在保持推理效率的同时扩大模型容量。然而，在异构

端云环境中部署MoE模型带来了新的挑战，包括专家调单模型可以轻松压缩或量化以供终端部署不同，MoE

模型由多个动态调用的专家模型组成，其激活模式因

度、通信开销和资源异质性问题。本文提出了EC模块

本化专家系统，一种通过端云管道协作实现可扩展MoE推输入而异，需要高效的门控和路由机制(Rajbhandari

译理的自适应框架。首先，我们设计了一个硬件感知轻量etal.2022)。这种变化性给系统级别的资源调度、模

中级分组门控网络，以增强专家选择和计算效率。通过引型放置以及专家通信带来了新的困难(Galeetal.2023;

入硬件感知本地专家选择机制，系统能够根据实时设备Caoetal.2025)。一方面，受限于资源的终端设备难

1配置自适应地过滤候选专家。随后，一个轻量级分组门以支持高容量MoE主干所需的密集计算需求，特别是

v模块整合局部和全局门控输出，实现高质量的专家路由

4在涉及多个专家路径的情况下(Shenetal.2024b;Jin

2并保持最小开销。其次，我们开发了一种基于端云协作etal.2025)。如果仅使用本地计算，这会导致推理精度

0的管道优化机制以加速MoE推理。这包括一种基于低秩

6压缩的编码器-解码器结构，可以减少传输和计算成本。或吞吐量下降(Lietal.2025)。另一方面，完全依赖云

0.以及一个路径感知启发式流水线调度算法，根据工作负服务会引入延迟开销，并可能导致本地资源的利用率低

8载和网络拓扑动态分配推理阶段到各个设备上。广泛的下(Deshpandeetal.2024)。此外，全云端执行对网络

0波动高度敏感(Yuetal.2024)，使得在低延迟关键应用

5实验表明，与最先进的方法相比，EC模块专家系统能

2够将吞吐量提高2.2至5.1，并减少端到端延迟53%中难以保证性能的一致性。这些问题因现实中常见的网

:至67%，同时保持高精度。它还在动态负载和网络环境络状况变化、设备异构性和动态工作负载模式而进一步

v

i中保持良好的可扩展性。加剧。

x

r