徐可甲-面向智算服务构建下一代可观测Pipeline.docxVIP

演讲人：徐可甲

演讲人：徐可甲

目录0201云原生智算服务关键技术智算服务可观测需求与挑战0304下一代可观测Pipeline智算服务可观测Pipeline技术实践05未来展望

目录

02

01

云原生智算服务关键技术

智算服务可观测需求与挑战

03

04

下一代可观测Pipeline

智算服务可观测Pipeline技术实践

05

未来展望

云原生智算服务关键技术

云原生智算服务关键技术

数据准备模型构建模型推理持续发布弹性开发探索模型训练调优提效深度学习的特点端到端流水线–Rawdatain,executablemodelout

数据

准备

模型

构建

模型推理

持续发布弹性

开发探索

模型训练

调优提效

深度学习的特点

端到端流水线–Rawdatain,executablemodelout

持续迭代优化–梯度下降,超参数调优,Prompt工程

任务长时运行–小时/天/周/月

消耗海量数据和大量算力

AI在计算机视觉、语音、NLP等领域取得突破，已深入

影响各行各业，并催生出了自动驾驶等领域。

AI服务上云形成趋势，深度学习/AIGC应用广泛采用容器等云原生技术。

大模型对基础设施服务能力的挑战是阶跃式的。对“规模、性能、效率”的要求，成为LLM/AIGC快速落地的高门槛。效率??资源效率：高利用率、弹性可扩展工程效率：持续