嵌入式平台深度学习 - 联想商用-商用笔记本,商用台式机,数据.pdf

嵌入式平台深度学习 张先轶 PerfXLab 澎峰科技 xianyi@ PerfXLab澎峰科技 01 Vision • Discovering Potential. Driving Performance • 挖掘AI潜能，引领客户性能 02 我们是： • 领先的AI+计算的技术公司 • 覆盖服务器+嵌入式 • 独到的技术（OpenBLAS ） • 优秀的人才团队 ✓ 中科院 ✓ HPC 22 嵌入式深度学习 目标 • 将深度学习的Inference计算迁移到移动平台 • 手机，机器人等 • ARM CPU ，GPU ？ • FPGA ？DSP ？ 33 嵌入式深度学习 模型 • 模型不能太大，层数不过深 • 模型参数定点化 ✓ Int8 • 二值化 • 模型压缩技术 ✓ Binary weight ✓ 剪枝 ✓ Xnor-net ✓基于哈希 44 嵌入式深度学习 深度学习框架 • Caffe ，MXNet ，Tensorflow ，Torch… • 裁剪 • 与模型适合(二值化) • 与底层优化库匹配 • Operator融合 55 嵌入式深度学习 底层库 • 大量采用开源实现 • OpenBLAS, NNPack, Eigen OpenBLAS • 我们主导的开源项目 • 获得2016年中国计算机学会科学技术二等奖 • 多个深度学习项目依赖库 • 进入IBM公司PowerAI 66 PerfBLAS 针对深度学习优化专用版 硬件平台 合作用户 • ARM CPU (32-bit or 64-bit)