大模型推理端到端Token级可观测工程实践.pdf

大模型推理端到端Token级可观测工程实践.pdf

让推理引擎可被“看见”

大模型推理端到端Token级可观测工程实践

刘杨

蚂蚁集团可观测架构师

01推理全链路可观测体系

02传统Trace的局限

03Token为中心的可观测方案

目录

04经典案例

文档评论(0)

1亿VIP精品文档

相关文档