面向生产服务的大模型评估体系探讨PPT.docx

面向生产服务的大模型评估体系探讨

邓超

中国移动研究院2024年1月

1

2

一、中国移动大模型布局及进展

二、中国移动大模型评估体系

三、九天客服大模型应用评估实践

3

客服政务

客服

政务社会综治医疗企业通话交通运输能源

九天众擎基座大漠型

九天众擎基座大漠型

100B+

100B+

13B2B13B+200B+

13B

2B

13B

+多模态/跨模态大模型

+

视觉大模型结构化数据大模型语音大模型语言大模型

视觉大模型

结构化数据大模型

语音大模型

7B13.9B57B3B100B+

7B

13.9B

57B

3B

100B+

4

中国移动自主构建语言、视觉、语音等多种类型大模型，具备跨行业供给侧增强、高可控性、异构软硬件灵活部署几大显著的技术特色，整体性能指标实现国内主流水平，能更好满足企业全场景全部署的大模型落地需求

100B+→200B+6B→13B9B2B3B/7B/13

100B+→200B+

6B→13B

9B

2B

语言大模型视觉大模型语音大模型结构化数据大模型多模态大模型

多种类型基

多种类型基础大模型

在71%的中文测试集主流指标上，超过业界同等参数规模模型

特色一特

特色一

特色二

高可控性

特色三

以九天基础模型为基础，联合通信、能源、航空等行业的骨干企业，共建共享九天·众擎基座大模型，加速国民经济主体行业的智能化转型升级，促进我国战略性新兴产业发展，带动我国整体生产力提升

6

:

符合生产指标

符合生产指标

强任务主导性复杂系统AI及强系统集成能力强信息集成能力

强任务主导性

复杂系统AI及强系统集成能力

强信息集成能力

高准确率持续学习行业规范与知识基础大模型高动态自适应高可靠性强生成能力提供基础

高准确率

持续学习行业规范与知识

基础大模型

高动态自适应

高可靠性

强生成能力

提供基础

专业数据强理解能力

专业数据

强理解能力

行业大模型

网络运维网络运维行业通话金融风险社会综治视觉储能

网络运维

网络运维

行业通话

金融风险

社会综治视觉

储能司法

文体

构建网络AI大模型，实现从“网络+AI”向“AI+网络”转变，降低AI赋能网络的边际成本，指数级扩大赋能成效为网络智慧内生提供AI核心基座，助力网络与AI全面、深度融合

多模态融合复杂系统智能化极速业务交付极优网络品质极佳资源效率极省运维成本极简一线作业体系化AI：

多模态

融合

复杂系统

智能化

极速业务

交付

极优网络

品质

极佳资源

效率

极省运维

成本

极简一线

作业

体系化AI：分层多智能体协作

大模型对现有模型替代

复杂跨模态能力

演进理念

95%

100%

语音

数据

异构性

网管智能体

网管智能体

NLP40%图像60%结构化网元智能体网元

NLP

40%

图像

60%

结构化

网元智能体

网元智能体

网元智能体

网元智能体

挑战

自然语言

图像

语音

结构化

网络大模型（

网络大模型（JT-Net）

多模态、异构数据统一聚合

多模态、异构数据统一聚合

?2023年中国移动合作伙伴大会上发布网络大模型1.0，优先服务四大场景，驱动向“AI+网络”全面演进

?基于网络大模型的网络运维AI助手正式上线中国移动MOA网络运维中心2个应用场景，端到端准确率达88%以上

九天·海算政务大模型是中国移动基于近年来积累的丰富数字政府建设经验所打造的面向政务领域的行业大模型。九天·海算政务大模型面向政务领域特殊性，融合了三大特色：深度行业智能、政务信息场、多元式交互

九天·海算政务大模型

事项政策流程一网通办

事项

政策

流程

一网通办一网统管一网协同

数…据

政策咨询事项办理

数据分析舆情洞察

公文写作智能流转

政务

信息场政务大模型

l深度行业智能l多元交互模式政务多交互方式融合

l深度行业智能

l多元交互模式

政务多交互方式融合

TOD+大模型+GUI，智能便捷

政务信息场

汇聚散落的关联数据

政务流程不出“场”，安全可信

政务政