2024大规模预训练模型通用要求.docx

大规模预训练模型通用要求

Generalrequirementsforlarge-scalepretrainedmodels

I

I

PAGE

PAGE11

目 次

前言 II

范围 1

规范性引用文件 1

术语和定义 1

缩略语 3

概述 4

技术架构 4

基础层 4

数据层 6

模型层 6

平台层 8

服务层 8

功能要求 8

基础层 8

数据层 10

模型层 11

平台层 12

服务层 12

性能指标 13

模型效率 13

模型规模 14

可靠性 14

易用性 15

容错性 16

隐私性 16

稳定性 17

可解释性 17

鲁棒性 17

参考文献 19

大规模预训练模型通用要求

范围

本文件提出了人工智能大规模预训练模型的技术参考架构，并规定了大规模预训练模型在基础软硬件功能、性能等方面的通用要求。

本文件适用于人工智能大规模预训练模型的设计、开发、管理和评测。

规范性引用文件

本文件没有规范性引用文件。

术语和定义

下列术语和定义适用于本文件。

预训练模型pre–trainedmodel

通过半(弱)监督、全监督、自监督或者无监督等技术，在大规模训练数据上训练得到的一种深度学习模型，可处理多种不同任务，也可被迁移到目标相近的任务中进行使用。

[预训练模型]服务[pre–trainedmodel]servi×e向用户传递关于使用预训练模型价值的一种方法。注1：服务一般满足用户获得特定输出的要求。

注2：预训练模型服务一般含有：推理服务、大模型小型化服务、训练/推理平台服务。

测试系统testsystem

执行测试所使用的硬件、软件及数据。

作业job

一个可被测试系统（3.3）执行的基本测试单元。

任务task

在人脸特征项提取之前的人脸特征特性的模拟表示或数字表示。被调度的训练或推理对象。

注：任务用于完成一个相对独立的业务功能。一个任务属于且仅属于一个作业。

微调学习fine–tuninglearning

在完全不修改模型主干的基础上，使用下游任务数据和任务目标，对模型参数进行调整，使模型能够适应下游任务。

适配器adapter

PAGE

PAGE10

PAGE

PAGE3

在预训练模型的结构中加入可训练的参数模块，训练过程中更新该模块的参数。

提示/提示语prompt

插入到输入样本中的对象。

提示学习promptlearning

在不修改预训练模型结构和参数的情况下，仅通过网络学习的方式，设置学习模型的提示语，为模型输入增加提示信息。在获得提示语后，将提示语与下游任务标签组合后一同输入到模型中，得到最终的预测结果。

线性探测linearprobing

在不修改预训练模型结构和参数的基础上，根据预训练模型输出层与下游任务数据预期输出结果的适配情况，为预训练模型替换或增加适配下游任务的线性探测层，并使用下游任务训练数据和任务目标对线性探测层进行单独训练，使预训练模型能够适应下游任务。

小样本学习few–shotlearning

在使用预训练模型的下游中使用少量的样本数据进行训练的迁移学习任务。在下游任务数据有限或训练所需资源受限时，基于预训练模型结构和参数，仅使用下游任务的少量数据，通过微调、提示学习或线性探测器训练等方式，使模型适应下游任务。

零样本学习zero–shotlearning

一种机器学习范式，在使用预训练模型时对某些类别完全不提供训练样本的迁移学习任务。在难以获取下游任务数据或训练所需资源受限时，不使用下游任务的训练数据且不修改预训练模型结构和参数，通过人工设置提示语或直接应用预训练模型的方式，使模型适应下游任务。

单流模型single–streammodel

在大模型预训练过程中不同信息输入至同一个编码模块的模型设计方法。

多流模型dual–streammodel

在大模型预训练过程中不同信息输入至不同的编码模块的模型设计方法。

混合专家模型mi×tureofe×perts，MOE

在大模型预训练过程中会训练多个子神经网络，每个子神经网络被指定应用于数据的不同部分的模型设计方法。

工具链a××essibilitytoolkit

用于支撑预训练模型提供服务的软件集合。

测试者tester

组织并开展预训练深度学习模型测试的机构或个人。

人工智能加速处理器artifi×ialintelligen×ea××eleratingpro×essor

具备适配人工智能算法的运算微架构，能够完成人工智能应用加速运算处理的集成电路元件。

稀疏门控专家混合层spa