靳伟_从MLOps到+LMOps的关键技术嬗变.pdfVIP

从MLOps到 LMOps的 关键技 术嬗变 百 度 AI中台 产品 架 构师 靳伟 从MLOps到LMOps • 人工智能的发展路径 人工智能发展路径 深度学习模型 预训练模型 生成式大模型 生成式大语言模型 ChatGPT、文心一言、Claude、 Vicuna、Alpaca、ChatGLM ，等 机器学习属于人工智能 （Artificial Intelligence）的一个方法子领域 大模型 （Foundation Model）参数规模在十亿以上的神经网络模型 计算机通过算法，利用经验 （数据）来改善系统自身的性能 通常以Transformer作为基础结构，在海量无标注数据上进行自监督学习 大语言模型 （Large Language Model）是一种具备对语言的理 深度学习 （Deep Learning）是一种实现机器学习的技术 解和生成能力的大模型 利用深层神经网络，实现层级特征抽象和表示学习 基于Transformer的注意力机制，通过SFT激发后出现能力涌现 什么是MLOps MLOps （Machine Learning Operations）是机器学习时代的DevOps ，其主要作用就是连接模型构 建团队和业务，建立起标准化的模型开发、训练、部署、上线、监控的最佳实践，从而提高质量，简 化管理流程，在大规模生产环境中自动部署机器学习和深度学习模型，使模型与业务需求以及规则要 求保持一致变得更加容易。 和DevOps的相似处 和DevOps的不同点 简化步骤流程 更复杂的版本控制 降低沟通成本 持续监控和持续训练 硬件要求、持续部署、持续集成... 大模型带来的变化 千卡至万卡的分布式训练 TB~PB级别 训练稳定性 未标注多模态数据 PEFT调优技术 海量数据加工 数 据 训 练 长上下文增强 指令、图文、多轮对话数据