大模型推理端到端Token级可观测工程实践.pptx

大模型推理端到端Token级可观测工程实践.pptx

让推理引擎可被“看见”

大模型推理端到端Token级可观测工程实践

刘杨

蚂蚁集团可观测架构师

03Token为中心的可观测方案

01推理全链路可观测体系

02传统Trace的局限

目录

05社区贡献与展望

04经典案例

06QA

推理全链路可观测体系

总览

以推理为核心的统一观测解决方案

推理云服务

AI应用

MetricsLogsTraces

AntCollector(DaemonSet)

otlp

蚂蚁主站

DataGW

文档评论(0)

1亿VIP精品文档

相关文档