GPU虚拟化技术在讯飞AI业务中的应用.pptx

技术创新，变革未来大规模GPU虚拟化在讯飞AI业务上的实践;目录;讯飞AI业务的发展;讯飞AI业务整体架构;业务突增，拥有开发者90W+ 平均日服务量，达40亿人次;目录;GPU虚拟化技术-协议传递;GPU虚拟化技术-协议传递;GPU虚拟化技术-设备透传;GPU虚拟化技术-设备透传;Nvidia vGPU;Nvidia vGPU;GPU虚拟化-模拟设备;GPU虚拟化-模拟设备;总结;目录;异构资源管理;异构资源管理;异构资源管理;目录;业务落地方案于实践;断点任务;断点任务;深度学习中经常会出现多机多卡的任务，也就是同时会起多个实例，多个实例属于同 一个任务 默认调度器是一个一个进行调度的，只会检查单个实例资源够不够，这样前99个都 能成功，最后一个pod调度失败。 这样就会造成 任务跑不了 前99个占着GPU不释放，新的任务无法调度 严重时整个集群死锁;批任务调度-延迟绑定;Batch-schedule执行流程;总结;谢谢聆听！