基于eBPF和Agent构建LLM训练推理优化体系.docx

基于eBPF和Agent构建

LLM训练推理优化体系

向阳云杉网络

演讲嘉宾

向阳

清华大学博士/云杉网络研发VP

清华大学博士，云杉网络研发VP，DeepFlow开源社区负责人。曾在国际顶级学术会议ACMSIGCOMM、ACMIMC上发表可观测性方向的学术论文，现负责可观测性产品DeepFlow，致力于打造一款为云原生和AI应用而生的零侵扰可观测性产品。

1.背景：训练和推理的效率挑战

目录CONTENTS

目录

CONTENTS

3.方法：eBPF构建零侵扰可观测性

4.实践：PyTorch全栈剖析和追踪

5.探索：Agent自动优化ML代码

PART01

背景：训练和推理的效率挑战

LLM训练开销大、效率低

GPT-4

Llama-3.1

参数

1.8T

405B

GPU

25KA100

16KH100

时长

90~100天

54天

MFU

32%~36%

38%~43%

?EverythingWeKnowAboutGPT-4-Klu.ai

?GPT4-AllDetailsLeaked

?TheLlama3HerdofModels

训练时间长：数月

模型参数大：万亿

148/54*365/16384=6%

(148+72+19+17+6+6)/54*365/16384=11%

GPU年化故障高：6%~11%

GPU数量多：数万

GPU数量多：数万

GPU利用率低：40%

代码层面训练低效的主要原因

计算效率

显存拷贝

网络传输?

网络传输

?YanjieGao(MicrosoftResearch)etal,ACMICSE2024,

AnEmpiricalStudyonLowGPUUtilizationofDeepLearningJobs.

?YanjieGao(MicrosoftResearch)etal,ACMICSE2023,

AnEmpiricalStudyonQualityIssuesofDeepLearningPlatform.

如何知晓你的训练任务是否存在这些问题？

LLM推理开销大、时延高

Llama

8B

70B

405B

FP32

36GB

267GB

1.48TB

FP16

20GB

135GB

758GB

INT8

12GB

70GB

382GB

INT4

8GB

37GB

193GB

?LLMMemoryRequirements

?LLMInferencePerformanceEngineering:BestPractices

80GB:1GPU

640GB:1Nodex8GPU

1.28TB：2Nodex8GPU

TimeToFirstToken(TTFT)

TimePerOutputToken(TPOT)ModelBandwidthUtilization

(MBU)

GPU并非越多越好

GPU越多，则通信越复杂，内存碎块越多。

没有银弹，唯有持续观测优化。

GPU并非越少越好

GPU并非越少越好

GPU越少，则每个

GPU需要加载更多的模型参数。

排查LLM推理显存消耗的挑战

Biz

vLLM

PyTorch

Python/C++

从推理应用到在线LLM推理服务

APIGWPromptsSignals

Perception-Planning-Control

vLLMPyTorch

vLLM

PyTorchSGLang

AuthService

Auth

LLM

...

ToolsRAGCache

Tools

RAG

AgentMemCache

Agent

VectorDBGateway

VectorDB

RobotOperatingSystem2(ROS2)-BasedFrameworksforIncreasingRobotAutonomy:ASurvey

LLM-2LLM-1端-自动驾驶、具身智能（ROS2）的端到端

LLM-2

LLM-1

低时延和高稳定性要求

云-在线推理服务是一个