人工智能 国资央企行业大模型评测要求 第1部分：电力大模型（征求意见稿）.docx

ICS35.240CCSL70

团体标

准

T/CESAXXXX—202X

人工智能国资央企行业大模型评测要求第1部分：电力大模型

ArtificialIntelligence-Evaluationrequirementsforindustry-specificlargemodelsofChinesecentralState-ownedenterprises-Part1:largemodelsforthepowerindustry

征求意见稿

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。

已授权的专利证明材料为专利证书复印件或扉页，已公开但尚未授权的专利申请证明材料为专利公开通知书复印件或扉页，未公开的专利申请的证明材料为专利申请号和申请日期。

202X-XX-XX发布202X-XX-XX实施

中国电子工业标准化技术协会发布

T/CESAXXXX—202X

I

版权保护文件

版权所有归属于该标准的发布机构，除非有其他规定，否则未经许可，此发行物及其章节不得以其他形式或任何手段进行复制、再版或使用，包括电子版，影印件，或发布在互联网及内部网络等。使用许可可于发布机构获取。

T/CESAXXXX—202X

II

目次

前言 III

引言 Ⅳ

1范围 1

2规范性引用文件 1

3术语和定义 1

4评测框架 1

5评测任务 2

6评测要素 21

参考文献 29

T/CESAXXXX—202X

III

前言

T/CESAXXXX—202X《人工智能国资央企行业大模型评测要求》拟分为以下几个部分——第1部分：电力大模型；

——第2部分：交通大模型；

......

本文件为T/CESAXXXX—202X的第1部分。

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。

本文件由中国电子技术标准化研究院提出。

本文件由中国电子技术标准化研究院、中国电子工业标准化技术协会归口。

本文件起草单位：中国电子技术标准化研究院、中国电力科学研究院有限公司、南方电网人工智能科技有限公司、国家能源投资集团有限责任公司、中国能源建设集团有限公司、中国移动通信有限公司研究院、中国电信股份有限公司研究院、南方电网科学研究院有限责任公司。

本文件主要起草人：。

T/CESAXXXX—202X

IV

引

言

大模型是人工智能领域的关键技术，当前众多国资央企已启动大模型建设和研发，为发挥国资央企在大模型技术领域的引领作用，重点行业国资央企联合中国电子技术标准化研究院共同开展国资央企大模型评测标准研制，为大模型评测提供客观的评测维度、评测指标和评测方法，旨在加速推动人工智能技术在国资央企各行业内的深度融合与创新应用，推动行业整体向智能化、高效化方向发展。

随着大模型技术越来越深入应用于国资央企电力、交通、能源和物流等各个行业的业务场景，需要对行业大模型的评测要求进行统一规范，为行业大模型相关的产品和服务提供评测的依据，以评估大模型在特定行业中的适用性和可行性，提高大模型选型决策的效率和准确性。由于各应用场景对大模型的需求差异大，所涉及的评测要求均有所不同。T/CESAXXXX—202X《人工智能国资央企行业大模型评测要求》旨在规定适用于行业大模型的的评测框架和评测任务，拟由X个部分构成。

——第1部分：电力大模型。目的在于为电力大模型的评测框架和评测任务进行统一规范化要求。——第2部分：交通大模型。目的在于为交通大模型的评测框架和评测任务进行统一规范化要求。

......

T/CESAXXXX—202X

1

人工智能国资央企行业大模型评测要求第1部分：电力大模型

1范围

本文件规定了电力行业大模型评测框架、评测对象、评测维度、评测任务和评测要素。本文件适用于指导电力行业大模型研发和大模型能力评估。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T41867-2022信息技术人工智能术语

GB/TXXXX.2—XXXX人工智能大模型第2部分：评测指标与方法

T/CESAXXXX—202X人工智能国资央企通用大模型评测要求第1部分：大语言模型

3术语和定