腾讯云TI平台的大模型精调解决方案.pptxVIP

腾讯云 TI平台的大模型精调解决方案胡哲优图实验室高级AI技术专家

行业知识、模型训练稳定性、资源利用率、国产化适配大模型精调全生命周期的方法论与全流程陪跑自研大模型、大规模预训练、自研加速、国产化适配大模型摘要;大模型问答大模型落地痛点TI大模型精调解决方案TI精调的核心优势案例分享

大模型在业务场景落地的痛点

大规模训练不稳定大模型训练需耗费大量GPU资源且训练周期长，对训练平台的稳定性、故障隔离性、自动容错性等底座能力，以及断点续训能力考验极大模型欠缺行业知识通用领域大模型百花齐放，但都不具备特定行业的独有知识，欠缺行业属性导致无法落地实际业务需国产化适配响应国家政策，摆脱国外资源限制，需要从硬件服务器芯片、操作系统、模型等多个层面完成国产化适配 大模型落地业务场景的痛点 需提高资源利用率分布式训练需要高效的资源调度管理系统，减少节点资源碎片提高调度成功率；支持虚拟GPU调度提高容器资源利用率

TI的大模型精调解决方案

MaaS客户专属大模型传媒行业大模型精调解决方案TI平台技术底座平台工具TI-DataTruth数据标注平台TI-ONE 训练平台TI-Matrix应用平台太极Angel加速组件基础设施高性能计算集群HCC高性能网络：自研星脉计算网络架构向量数据库行业大模型传媒大模型政务大模型文旅大模型金融大模型教育大模型…… TI的一站式大模型精调解决方案

模型选型训练共建部署应用资源采购业务形态数据评估应用场景资源评估环境搭建服务开通交付方案项目排期训练数据准备模型训练知识挖掘+增强数据清洗+切块向量库建设+维护训练平台搭建无监督训练有监督训练人工反馈强化学习训练框架加速脱敏合规模型评测模型管理服务发布性能评测效果评测模型注册模型发布推理框架加速推理服务部署内容安全应用联调需要客户深度参与 TI对大模型开发全生命周期的一体化方法论

TI精调的核心优势

核心优势1—自研模型：混元大模型 超千亿参数规模（蒸馏出百亿级模型），全链路自主研发，从零训练自主创新AngelHCF推理框架推理速度相比业界主流框架提升1.3倍AngelPTM训练框架相比业界主流框架提升1倍训练速度预训练超2万亿token语料优化预训练算法及策略精调及强化学习改进注意力机制开发思维链新算法知识增强逻辑推理内容创作自研机器学习框架创新大模型训练四大核心能力多轮对话

共测试29个能力项综合评级 级当前最高分共测试37个能力项综合评级 级当前最高分模型开发信通院测评模型能力C-EvalMMLUAGlEval总集AGlEval中文AGlEval英文混元GPT-3.5GPT-4VS腾讯混元大模型主流大模型010 20 30 40 50 60 70GPT-4GPT-3.5混元代码子项HumanEval分数STEM子项混元GPT-3.5GPT-40 10 20 30 40 50 60 70 80Ceval-STEMAGlEval-高考010 20PT-4GPT-3.5混元高考题子项数学子项混元GPT-3.5GPT-40 5 10 15 20 25 30 35 40 45AGlEval-数学 核心优势1—自研模型：混元大模型

核心优势1—自研模型：行业大模型 降低不同行业数据彼此干扰提升垂类任务性能应用层舆情助手 写作助手 营销助手 访谈助手 客服助手 ...大模型层平台层自研行业大模型训练支撑：TI-ONE训练平台行业阅读理解行业数值计算行业知识问答行业文案生成行业信息抽取行业情感分析行业术语增强行业合规安全基础大模型金融行业大模型 医疗行业大模型文旅行业大模型...通用大模型PTSFT行业大模型传媒文旅金融医疗……大规模通用数据无监督：数T文本有监督：数亿条数据大规模行业数据无监督：百G文本有监督：数百万条数据

核心优势1—自研模型：行业大模型 在有行业数据精调的情况下：行业大模型（10亿参数）可以比通用大模型（千亿参数）用小得多的训练资源，训练后得到差不多性能的应用阅读理解API调用问答对生成新闻摘要

核心优势2—大规模训练：简单 最快仅需5步即可完成大模型精调落地1.一键启动平台内置精调物料快速启动精调任务2.训练监控实时监测资源利用率、训练指标3.任务管理模型评估管理任务版本记录超参、指标快照4.模型发布平台内置推理加速镜像快速部署服务5.服务调用可视化网页、API接口调用模型服务

核心优势2—大规模训练：稳定 NodeNodeNodeNodeTrainOperator1.机器故障迁移2.异常POD