TGDEIIA-AI大模型中间件技术规范.pdf

ICS35.020

CCSL70

T/GDEIIA

团体标准

T/GDEIIAxx—XXXX

AI大模型中间件技术规范

TechnicalSpecificationsofMiddlewareforAILargeModels

（征求意见稿）

XXXX–XX–XX发布XXXX–XX–XX实施

广东省电子信息行业协会发布

T/GDEIIAxx—2024

目  次

前言IIV

AI大模型中间件技术规范1

1范围1

2规范性引用文件1

3.术语和定义1

3.1.大模型largemodel1

3.2.自注意力机制self-attention2

3.3.多头注意力机制multi-headattention2

3.4.Transformer2

3.5.预训练模型pretrainmodel2

3.6.自监督学习self-supervisedlearning2

3.7.人工反馈强化学习reinforcementlearningfromhumanfeedback,RLHF2

3.8.监督精调supervisedfine-tuning2

3.9.提示工程promptengineering3

3.10.智能体agent3

3.11.Token3

3.12.词嵌入wordembedding3

3.13.位置嵌入positionalencoding3

3.14.向量数据库vectordatabase3

3.15.搜索增强生成retrievalaugmentedgeneration,RAG3

3.16.工具tool4

3.17.混合专家模型mixtureofexperts,MOE4

3.18.门控网络gatingnetwork4

3.19.扩散模型diffusionmodel4

3.20.循环神经网络recurrentneuralnetwork,RNN4

3.21.思维链chainofthought,CoT4

4.大模型中间件系统架构5

4.1.大模型中间件系统功能架构5

4.2.大模型中间件系统组件架构9

5.大模型中间件模块组件规范11

5.1.向量数据库11

5.2.内存12

5.3.索引12

5.4.查询器13

5.5.文档转换器13

5.6.文档加载器13

5.7.智能体14

II

T/GDEIIAxx—2024

5.8.链14

5.9.提示15

5.10.工具15

5.11.数据连接器15

5.12.模型I/O16

5.13.分词器16

5.14.回调器16

5.15.模式17

5.16.聊天模型17

5.17.嵌入模型18

5.18.模型18

5.19.性能测评18

5.20.运行监控19

6.大模型中间件接口规范19

6.1.加载模型19

6.2.获取已加载模型21

6.3.卸载模型22

6.4.模型对话23

6.5.模型画图26

6.6.上传知识库数据并量化28

6.7.获取知识库文件处理状态29

6.8.知识库查找30

6.9.执行模型微调33

6.10.获取模型微调状态34

6.11.中断模型微调36

7.大模型中间件应用规范37

7.1.模块化设计37

7.2.接口规范37

7.3.数据流管理37