OrionX AI算力资源池化解决方案技术白皮书.docxVIP

目录

TOC\o1-3\h\z\u引言 1

GPU资源池化技术的演进 2

OrionX产品概述 3

OrionX产品优势 4

OrionX软件架构 5

OrionX的逻辑架构 5

OrionX的功能组件 6

OrionXController（OC） 6

OrionXServerService（OSS） 6

OrionXClientRuntime（OCRT） 7

OrionXGUI（OG） 7

OrionX组件间通信 7

管理平面 8

数据平面 8

部署形态 10

OrionX与容器云平台集成 10

OrionX与Kubernetes集成 11

OrionX与KVM集成 11

OrionX与VMware集成 12

OrionX应用场景 14

OrionX支持大模型场景的典型应用 14

通过“化零为整”功能支持训练 14

通过“隔空取物”功能支持训练 15

OrionX支持小模型场景的典型应用 16

通过“化整为零”功能支持推理 16

通过“隔空取物”功能支持推理 17

OrionX支持大/小模型场景的典型应用 18

通过“随需应变”功能支持训练/推理 18

通过“任务队列”功能支持训练/推理任务自动排队 19

通过“抢占”功能支持任务抢占资源 20

通过“显存超分”功能支持多任务叠加常驻 21

通过“双类资源池”功能支持物理/虚拟切换 22

通过“热迁移”功能支持AI任务平滑迁移 23

通过“多Arch”架构可同时支持AI计算与图形渲染 25

OrionX支持多元异构算力芯片 28

性能测试 30

测试环境 30

测试结果 31

兼容性列表 33

图表目录

图表1-1全球人工智能市场规模走势图 1

图表2-1GPU资源池化技术演进图 2

图表3-1ORIONX架构图 3

图表5-1ORIONX逻辑架构图 5

图表5-2管理平面逻辑结构图 8

图表5-3数据平面逻辑结构图 9

图表6-1ORIONX与容器云平台集成 10

图表6-2ORIONX和KUBERNETES集成 11

图表6-3ORIONX和KVM集成 12

图表6-5ORIONX和VMWARE集成 13

图表7-1通过化零为整功能支持训练 15

图表7-2通过隔空取物功能支持训练 16

图表7-3通过化整为零功能支持推理 17

图表7-4通过隔空取物功能支持推理 18

图表7-5通过随需应变功能支持训练/推理 19

图表8-1模型推理测试结果 31

图表8-2模型训练测试结果 32

引言

当下，全球各国都在加速人工智能布局，将其作为战略性技术之一。作为较早发布人工智能战略的国家，中国政府将人工智能技术视为产业变革的核心力量，人工智能不仅是技术创新，更是推动经济发展、社会进步、行业创新的重要驱动力。“十四五”规划纲要更是将新一代人工智能作为要攻关的七大前沿领域之一，鼓励加速人工智能前沿基础理论突破、专用芯片研发、深度学习框架等开源算法平台构建，促进学习推理与决策、图像图形、语音视频、自然语言识别处理等领域创新，加速人工智能与诸如大数据、物联网、边缘计算等数字信息技术的融合发展，促进产业优化升级、生产力整体跃升。

德勤在2020上半年发布的《全球人工智能发展白皮书》预测数据表明：2025年世界人工智能市场将超过6万亿美元；中国人工智能核心产业规模到2020年将增长至1600亿元，带动相关产业规模超过一万亿元。

图表1-1全球人工智能市场规模走势图

作为AI市场中的重要组成，以GPU、FPGA等为主的AI加速器市场发展也随之水涨船高。根据IDC中国加速计算市场报告，预计2021年人工智能加速服务器市场规模将达到56.9

亿美元，相比2020年增长61.6%，到2025年，中国人工智能加速服务器市场将达到108.6

亿美元，其五年复合增长率为25.3%。

与此同时，由于缺乏高效经济的AI算力资源池化解决方案，导致绝大部分企业只能独占式地使用昂贵的AI算力资源，带来居高不下的AI算力使用成本；由于缺少对异构算力硬件支持，用户不得不修改AI应用以适应不同厂商的AI算力硬件。这会加剧AI应用开发部署复杂性、提高AI算力投入成本并导致供应商锁定。

GPU资源池化技术的演进

GPU资源池化技术从初期的简单虚拟化，到资源池化，经历了四个技术