【云栖大会】全栈式AI.pptx

全栈式AI

全栈式AI，加速产业AI化03敏捷的人工智能资源平台AIStation:AIPaaS平台，高效灵活AI计算资源；极速流程化AI开发过程；开放的AI生态T-Eye:浪潮自研的微架构级AI应用调优工具02强大的人工智能服务器训练/推理/AI云/边缘AI服务器全覆盖AGX-5：最强AI服务器，每秒2千万亿次AGX-2：最高计算密度，2U互联8颗GPUNF5468M5：支持20片最新T4GPU加速卡01领先的人工智能加速芯片10款全场景多品类人工智能计算加速卡面向视频处理、图像识别、语音识别、自然语言处理等人工智能典型场景高性能、低延迟、高能效比的专用加速04先进的人工智能算法工具平台Caffe-MPI：全球首个并行版Caffe框架AutoMLSuite：灵活支持本地化或云端部署的高并行扩展双部署；一站式自动模型生成TF2:人工智能计算加速引擎，提供极致人工智能推理效率05丰富的人工智能生态建设AICC：中国最大人工智能计算盛会中国人工智能计算力发展评估报告ASC：全球最大规模超算竞赛制定SPECML致力于全球人工智能标准制定元脑生态计划，筑营合作伙伴AI新生态浪潮人工智能

高密度推理数据Pipeline可重构加速AI推理加速卡F10A集成RDMA高性能网络低延迟卸载计算AI云智能网卡N10X全球首款内嵌HBM2

高速缓存可重构加速超低延迟AI加速卡F37X业内最高浮点计算力可重构加速高性能AI计算加速卡F10S4K高清视频+AI处理双芯片设计视频AI加速卡F07V高密度推理数据Pipeline可重构加速集成RDMA高性能网络低延迟卸载计算全球首款内嵌HBM2

高速缓存可重构加速业内最高浮点计算力可重构加速4K高清视频+AI处理双芯片设计强大的AI计算平台AI加速芯片系列

强大的AI计算平台训练推理边缘为AI推理优化设计4U支持20片加速卡NvidiaP4/T4、寒武纪ML100/ML270、FPGA等通用高密度推理计算最新VNNI深度学习指令4U空间最多支持448个CascadeLakeCPU核心i48NF5468M5边缘AI计算可壁挂式安装支持FPGA/xPU等NE5250M5全球唯一NVSwitch互连8颗V100，参数交互极致优化最强单机训练能力2千万亿次每秒张量运算能力OpenPower实现CPU和GPU间NVLink紧耦合互联全球首款NVLinkGPU专用数据通道服务器，2U8颗NVLinkV100AGX-2FP5295G2NF5488M5AGX-5i48AGX-2FP5295G2NF5488M5AGX-5浪潮AI服务器系列

AI计算资源训练数据系统账户系统镜像系统AIStation一体化开发平台AI模型库模型开发模型构建模型训练模型调优模型导出模型部署模型加载服务部署API服务应用开发API调用应用开发应用测试AIStation:全流程支持的AI开发平台敏捷的AI资源平台

显存最小分配粒度1G显存系统级严格控制GPU共享预选与优选机制网络拓扑亲和调度PCIe拓扑亲和调度设备类型亲和调度基于机时的Quota策略基于用户的轮询调度基于时间片的Backfill调度50%GPU显存调度1.3倍GPU时间调度20%GPU亲和调度user1user2user3user4use1234567显存（G）时间（H）user1user2空闲空闲48163201234567显存（G）时间（H）敏捷的AI资源平台AIStation:时空多维度精细化调度，提高计算资源利用率

SSDSSDSSD计算资源池数据资源池data1data2data3计算节点1计算节点2计算节点3data4data5AIStation数据集集中管理数据集缓存管理数据集预读控制数据集多副本缓存管理自动调整缓存的副本数量基于数据集调度计算资源多副本保证数据安全备份数据加速缓存命中率100%冷热数据智能分层预读智能判断冷热数据智能匹配数据与计算节点智能分析网络空闲时段敏捷的AI资源平台AIStation:多副本数据集预读缓存机制，不让IO拖累训练

敏捷的AI资源平台T-Eye:微架构级AI应用调优工具GPU组内互联–NVLINKCPU：前、后处理内存：数据集缓存IO瓶颈:训练的小文件读取GPU组间互联-NVSWITCH数据预取流水