基于eBPF和Agent构建LLM训练推理优化体系.pptx

基于eBPF和Agent构建

LLM训练推理优化体系

向阳云杉网络;

清华大学博士，云杉网络研发VP，DeepFlow开源社区负责人。曾在国

际顶级学术会议ACMSIGCOMM、ACMIMC上发表可观测性方向的学术论文，现负责可观测性产品DeepFlow，致力于打造一款为云原生和AI应用而生的零侵扰可观测性产品。;

1.背景：训练和推理的效率挑战

2.现状：传统解决方案和工具的问题

3.方法：eBPF构建零侵扰可观测性

4.实践：PyTorch全栈剖析和追踪

5.探索：Agent自动优化ML代码;

PART01

背景：训练和推理的效率挑战;;;

Llama;;

Perception-Planning-Control

BEV-OCC-Transformer

RobotOperatingSystem2(ROS2)-BasedFrameworksforIncreasingRobotAutonomy:ASurvey

端-自动驾驶、具身智能（ROS2）的端到端

低时延和高稳定性要求;;

Span;

PART02

现状：传统解决方案和工具的问题;

DCGMPrometheusExporter;;

RDMA网络：网卡/交换机指标、拨测

Meta:NetworkAI/ML应用

Observability（K8sPod）forAI/HPC

Training

Workflows

私有基础设施公有云

网卡/交换机指标RDMA网络

粒度粗

公有基础设施

RDMA网络

是性能黑盒

AI/ML应用

（K8sPod）;

LangSmith

支持的语言有限、需要修改代码;

PART03

方法：eBPF构建零侵扰可观测性;

ProcessEvents

FileEventsSocketEvents

KernelEvents

HWEvents;

ZeroCode

FullStack;

业内探索：eBPFProfilingTracing;

使用eBPF实现持续剖析的技术挑战;

#0__select_nocancel()

#1pysleep

#2time_sleep

#3call_function

#4PyEval_EvalFrameEx

#5fast_function

#6call_function

#7PyEval_EvalFrameEx

#8fast_function

#9call_function

#10PyEval_EvalFrameEx

#11fast_function

#12call_function

#13PyEval_EvalFrameEx

#14fast_function

#15call_function

#16PyEval_EvalFrameEx

#17_PyEval_EvalCodeWithName

#18PyEval_EvalCodeEx

#19PyEval_EvalCode;

①eBPFuprobe

Hookcuda_malloc获取显存申请调用栈

③eBPFuprobe

Hookcuda_free

获取释放的显存地址;;

PART04

实践：PyTorch全栈剖析和追踪;

DeepFlow中的eBPFAutoProfiling;

Span;

到底??个函数调用栈在CPU、GPU上花费的时间最长？到底一个Task的哪个Worker拖累了整体的速度？

零侵扰、全栈回答上述问题

CPUGPU全栈剖析：

√Python业务函数

√PythonvLLM函数

√PythonPyTorch函数

√C/C++Lib函数

√CUDA入口函数;

按K8sLabel过滤，对比同一个Task的所有Pod

CUDA函数耗时;;

CUDAmem-alloc显存申请火焰图;

CUDAmem-inuse显存实时用量火焰图;

3.COMM.Profiling;

Function;;

在线推理服务、端侧ROS2推理服务;;

PART05

探索：Agent自动优化ML代码;

如何快速高效的理解全栈函数;;

利用LLMAgent自动优化ML代码