百度文心千帆发模型平台合作方案汇报230620.pdfVIP

百度文心千帆大模型平台

合作方案汇报

百度智能云AI平台部

孙健

内容

提纲

01文心千帆大模型平台介绍

02平台落地规划与建设方案

文心一言与文心千帆的关系

百度文心大模型第三方大模型

大模型平台服务

ToCToB

文心千帆：一站式大模型开发及应用平台

海量数据处理再训练/微调/大模型评估自动化快速

高质量数据标注强化学习及高效压缩Prompt工程应用编排

大模型托管服务

大模型在线推理服务

最终用户

接入客户业务系统,支持丰富应用场景

智能问答内容创作产品营销代码编写人员培训其他场景

最终用户

更全面，提供大模型全流程工具链

一站式，全功能大模型开发平台

百度文心大模型第三方大模型

数据管理模型训练评估优化预测服务部署插件服务

数据采集清洗Post-Pretraining大模型评估服务部署及托管第三方服务/插件库

文

心数据生成Finetuning

千大模型压缩Prompt改写服务编排

帆数据导入/任务标注强化学习机制

大大模型安全Prompt推荐FaaS机制

模Prompt管理器大模型插件产线

型数据回流端到端训练提效大模型可解释Profile记忆在线效果测试器

平

台

基础管控账号权限资源调度存储管理监控报警干预调整统计报表

AI基础设施异构算力管理高性能文件系统IB/RoCERDMA高速网络AI调度增强

更高效，训练及推理性能大幅提升

多机多卡性能，分布式训练，推理性能与算力利用率等指标世界领先

MLPerf榜单训练性能千亿模型分布式并行训练加速