杨林枫-从算子调优到推理自治：构建 MaaS 场景下的 AI Inference 自动优化闭环.pdfVIP

从算子调优到推理自治

构建MaaS场景下的

AIInference自动优化闭环

杨林枫

阿里巴巴TRE-AI系统工程

分享路线与听众收获

从真实工况出发，理解一次算子优化怎样成为可验证的服务收益。

01哪些优化工作可以自动化完成

哪些高度依赖专家的工作可以交给系统？

02部署配置探索与优化任务生成

如何选择部署方案，再从运行Trace中生成算子任务？

03KernelAgent如何持续优化一个算子

如何组织实验、利用反馈，并确认收益真实？

04如何将算子收益兑现成模型收益

Kernel变快后，怎样接回框架、验证服务指标？

05如何开始自己的实践

最小需要准备什么，怎样逐步扩展到推理自治？

分享路线2

LLM推理算子优化的人力需求，来自于运行条件的多样性

目前模型算法逐步收敛，但庞大用户基数所带来的多样的推理需求仍带来了多样的优化需求

集中式、E/P/D分