陈真：大模型时代的可观测技术探索与实践.pdfVIP

大模型时代的可观测技术

探索与实践

陈真蚂蚁集团智能可观测负责人

个人介绍

陈真

蚂蚁集团智能可观测负责人

长达10年从事可观测领域技术架构设计及产品研发工作，蚂蚁集团可观测产品支撑起

了内部百万机器集群及分钟几十TB级别数据处理业务规模。

•2013~2016年，IBM企业级监控产品

•2016~2019年，蚂蚁集团可观测科技产品商业化

•2019~至今，蚂蚁集团内部可观测平台Antmonitor及开源可观测平台

HoloInsight

GOPS全球运维大会2023·上海站

1智能涌现

目录2大模型工程可观测体系

CONTENTS

3蚂蚁AI-Infra可观测实践分享

4技术开源

01智能涌现

全球大模型技术蓬勃发展-百模大战

相关报告显示，截止至今年7月，

国内大模型数量已达130个，高于

美国的114个。

GOPS全球运维大会2023·上海站

蚂蚁金融大模型快速演进

GOPS全球运维大会2023·上海站

02大模型可观测体系

大模型工程简述

训推应

练理用

•数据加工•基础大模型部署•Langchain大语言模型

（LLMs）应用的框架

•模型训练•LoRA模型热部

•Prompt工程及Agent开发

•模型评价•部署调度及在线服务

•向量数据库及其它组件

GOPS全球运维大会2023·上海站

大模型训练领域的基础设施痛点

大模型训练因参数量规模不同通常需要几百甚至上千小时的训练才能输出最终的可用模型。

NVIDIA在2021年4月发表的《EfficientLargeScaleLanguageModelTrainingonGPUClusters》文

章中提到：使用1024张80G显存的A100卡训练1750亿参数的GPT-3模型，需要训练34天。

GOPS全球运维大会2023·上海站

大模型工程可观测体系

应用

应用研发