人工智能 模型即服务（MaaS）性能规范（征求意见稿）.pdf

ICS35.240

CCSL70

T/CESAXXXX-2024

团体标准

T/CESAXXXX—2024

人工智能模型即服务（MaaS）性能规范

Artificialintelligence―ModelasaService(MaaS)performancespecification

征求意见稿

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。

已授权的专利证明材料为专利证书复印件或扉页，已公开但尚未授权的专利申请

证明材料为专利公开通知书复印件或扉页，未公开的专利申请的证明材料为专利申请

号和申请日期。

2024-XX-XX发布2024-XX-XX实施

中国电子工业标准化技术协会发布

T/CESAXXXX-2024

版权保护文件

版权所有归属于该标准的发布机构，除非有其他规定，否则未经许可，此发行物及其章节不得以其

他形式或任何手段进行复制、再版或使用，包括电子版，影印件，或发布在互联网及内部网络等。使用

许可可于发布机构获取。

II

T/CESAXXXX-2024

目次

前言IV

引言V

1范围1

2规范性引用文件1

3术语和定义1

4缩略语1

5MaaS性能指标体系1

5.1概述2

5.2MaaS性能指标2

6MaaS性能测试环境要求4

7MaaS性能测试方法5

7.1基础设施5

7.2模型开发平台10

7.3模型服务14

7.4AI应用开发平台17

III

T/CESAXXXX-2024

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起

草。

本文件由中国电子技术标准化研究院提出。

本文件由归口。

本文件起草单位：。

本文件主要起草人：。

IV

T/CESAXXXX-2024

引言

人工智能模型即服务（MaaS）已成为推动众多领域创新与变革的核心力量。它将复杂的人工智能模

型封装为便捷可用的服务形式，跨越了不同行业与技术层级间的鸿沟，为各类应用场景注入智能活力。

其性能表现成为决定其能否有效赋能业务、满足用户期望的关键要素。

T/CESAXXXX《人工智能模型即服务（MaaS）性能规范》旨在保障MaaS在不同环境、负载及业务

需求下均能稳定、高效、精准地运行。

本性能规范标准致力于为MaaS平台确立明确的性能衡量指标与准则，涵盖模型响应速度、吞吐量、

传输带宽以及时延等多个可扩展性的关键性能维度，拟由五个部分构成。

——第1部分：通则。目的在于确立适用于MaaS评估的性能指标体系以及MaaS的性能测试环境要求。

——第2部分：MaaS基础设施。目的在于规范指导MaaS基础设施涉及的各类性能评价指标及测试方

法。

——第3部分：模型开发平台。目的在于规范指导模型开发平台涉及的各类各类性能评价指标及测

试方法。

——第4部分：模型服务。目的在于规