大模型推理服务平台建设技术规范.docx

PAGE

大模型推理服务平台建设技术规范

目录TOC\o1-4\z\u

一、范围 3

二、规范性术语 4

三、总体架构 7

四、建设原则 10

五、平台功能要求 13

六、模型管理要求 17

七、模型接入要求 21

八、推理服务要求 23

九、资源管理要求 28

十、调度管理要求 31

十一、服务接口要求 36

十二、数据管理要求 40

十三、存储管理要求 44

十四、网络与通信要求 47

十五、安全管理要求 49

十六、隐私保护要求 53

十七、运行监控要求 57

十八、运维管理要求 60

十九、性能指标

文档评论(0)

1亿VIP精品文档

相关文档