深度学习信息检索数据挖掘自然语言处理知识表示金融模型-nvidia.pdf

NVIDIA GPU 在中国 人工智能 领域的 应用案例 2 阿里云HPC加速人工智能的发展 阿里云HPC介绍 • 中国首个推出公共云上的HPC产品 • 中国首个推出云上Maxwell架构的Tesla GPU，单节点单精度计算能力超过16Tflops • 阿里云HPC团队 • 集团内客户GPU集群建设、客服服务和应用优化 • 公共云上HPC运营、客户服务和应用优化 • 异构云平台预研 • 致力于满足深度学习用户的高性能计算需求 • 初创型新兴用户：随着人工智能市场的蓬勃发展，创业企业如雨后春笋般涌现出来，他们对高性能计算的需 求非常强烈 • 互联网企业也加入深度学习的浪潮，对高性能计算的需求与日俱增 • 传统GPU用户+ 深度学习：渲染（虚拟现实）、游戏、图形图像处理、视频处理 • 传统HPC用户+ 深度学习：气象、医疗图像处理、计算金融、碰撞模拟、流体力学、基因测序等 阿里深度学习业务场景 • 商品分类 • 商品风格预测 • 商品质量控制 • 拍照购 • 反黄 • 人脸识别 • 图像搜索 • OCR • ICDAR Robust Reading top1 • 语音识别 • 阿里小Ai 阿里深度学习集群 • 业务 • 大规模深度学习训练 • 在线、离线预测 • 建设统一化资源管理、调度、监控 • 规模: 上千片K40/ M40 GPU，Infiniband 网络 • 资源调度系统 • 弹性: docker容器服务 • 多租户隔离 • 部署自动化训练、预测服务 • 部署针对特定GPU架构的深度学习优化实现 深度学习性能优化 • 系统层面 • 多机多卡训练优化 • 预测的吞吐量优化 • 通信优化（MPI overlap、Direct RDMA） • 针对GPU优化 • CUDA Kernel优化 • Multi-stream优化 • PTX、Native指令优化 • 显存节约 • 数据传输优化 • 工具增强优化 GPU极致性能优化工具-AsKepler • 世界唯一公开Kepler原生汇编器 • 目前支持SM35 ，SM37 • 自由使用原生指令 • 自由寄存器映射 • 自由控制指令调度 • 了解微架构，进而指导人工优化或编译器后 端优化 Kepler GPU上2D卷积性能优化 • 目前Kepler GPU上世界最快 • Native指令直接实现Img2col + sgemm ，减少数据中转 • 尽量使用shared memory，减少全局内存访问 • 循环展开：增加shared memory的使用，指令并行 • 寄存器数量和shared memory的权衡，提高occupancy • 充分利用dual issue • 边界处理，避免warp 内分支 • 性能： • ourConv_sass vs. cuDNNv2: 2.1倍