TSCBDIF 001-2024 AI 大模型应用能力成熟度评价标准.docxVIP

ICS35.80

L77

团 体 标 准

T/SCBDIF

T/SCBDIF001-2024

AI大模型应用能力成熟度评价标准

AILargeModelApplicationCapabilityMaturityEvaluationStandard

2024-09-30发布 2024-12-01实施

四川省大数据产业联合会发布

T/SCBDIF001-2024

T/SCBDIF001-2024

PAGE

PAGE32

目 录

目 录 2

引?言 4

AI大模型应用能力成熟度评价标准 5

目的和范围 5

规范性引用文件 5

术语和定义 6

大模型（LargeModel） 6

模型开发（ModelDevelopment） 6

模型能力（ModelCapability） 6

模型运营（ModelOperation） 6

模型应用（ModelApplication） 6

安全可信（SecurityandTrustworthiness） 6

服务能力成熟度评估（ServiceCapabilityMaturityAssessment） 7

智能化软件工程技术和应用要求（IntelligentSoftwareEngineeringTechnologyandApplicationRequirements） 7

评价原则 7

评价维度 7

总体评价方法 7

定量评估 7

定性评估 8

各维度评价方法和流程 8

任务支持度评价方法和流程 8

场景丰富度评价方法和流程 13

行业覆盖度评价方法和流程 25

服务成熟度评估方法和流程 28

评价过程 34

评价结果的应用 35

标准更新与维护 35

本标准按照GB/T1.1-2009给出的规则起草。本标准由四川大数据产业联合会提出并归口。

本标准起草单位

四川省大数据产业联合会（四川省大数据产业联合会先进算力研究中心）中国电信股份有限公司四川分公司

北京百度网讯科技有限公司成都百智云行科技有限公司成都智算中心

华为技术有限公司（四川代表处）云南南天电子信息产业股份有限公司成都数之联科技股份有限公司

金蝶软件(中国)有限公司四川省公司用友网络科技股份有限公司四川区成都明途科技有限公司

成都同步新创科技股份有限公司钉钉(中国)信息技术有限公司四川生学教育科技有限公司

北森云计算有限公司

本标准主要起草人

朱小军、王艳、徐思宇、蓝青、沈跃锦、姜啸、廖显、左川民、傅彦、郑敏芝、严帅、孟胜、张何君、雍瑞雯、叶珩、邵郑涵、陈长志

本标准首次发布

本文件内容若涉及相关专利，本文件的发布机构不承担识别这些专利的责任。

引?言

当前，国产大模型科研创新加速，成为国家综合科技实力的体现。AI大模型是当代人工智能技术革新的前沿，它通过海量数据训练，具备强大的语言理解、生成和逻辑推理能力，深刻地改变信息处理、决策支持、内容创作等多个领域。AI大模型不仅提升了生产效率和准确性，还推动了个性化服务和智能交互的发展，成为推动各行各业数字化转型和智能化升级的关键驱动力。AI大模型不仅包括语言模型（如GPT系列）、视觉模型（如ResNet、Transformer）、多模态模型，还包括经过农业、制造业、医疗、法律、交通和金融等垂直行业领域特定数据训练以解决特定行业复杂问题的专业模型。除此以外，还包括用于辅助或自动化决策过程的决策支持模型，以及生成对抗网络（GANs）等，用于创建逼真的图像或模拟复杂场景。各类AI大模型模型各有专长，正推动着人工智能技术的多样化发展和广泛应用。与此同时，不同种类的大模型由于技术路线不同、应用场景不同，缺乏统一的能力评价体系。

编制AI大模型应用能力成熟度评价团体标准，对于促进人工智能产业的健康发展，具有深远的积极意义。通过编制和发布AI大模型应用能力成熟度评价团体标准，

一是有助于构建统一的评估框架，确保各类大模型的能力得到客观、全面的衡量，促进技术发展的标准化与规范化；

二是通过成熟度评价，能够明确不同模型在不同场景下的适用性，为企业和机构在选择与应用AI大模型时提供科学依据，避免盲目跟风或资源浪费；

三是标准将推动AI大模型技术的持续创新与优化，激励科研机构和企业在特定领域深耕细作，加速技术迭代与产业升级；

四是成熟度评价团体标准还有助于提升公众对AI技术的信任度，通过透明化评估结果，展示AI大模型的实际应用成效与社会价值，为人工智能技术的健康发展营造良好的社会氛围。

AI大模型应用能力成熟度评价标准

目的和范围

本标准旨在为AI大模型在不同应用场