陈以鎏（离青）_GMTC_端侧推理引擎面临的挑战与应对.pdf

端侧推理引擎 ⾯临的挑战与应对 离⻘ 淘宝⽆线开发专家 在此键⼊姓名 在此键⼊tittle 在此键⼊姓名 在此键⼊tittle ⾃我介绍 • 陈以鎏，花名离⻘ • 淘宝⽆线开发专家 • 2015 - 2019 • 阿⾥百川 • ⼿机淘宝架构 • MNN ⽬录 • 现状与挑战 • 应对之道 • 编译⽅案与⽐较 • 应⽤场景 • 开源与规划 背景 MobileNet V1 AlexNet GoogLeNet ResNet ShuffleNet V1 PolyNet MobileNet V2 MobileNet V3 VGG Inception V3 SqueezeNet DPN ShuffleNet V2 DenseNet 华为 Google TPU 麒麟970 NPU NCNN Torch 7 CoreML NNAPI 2011 2012 2013 2014 2015 2016 2017 2018 2019 移动AI …… 交互⾏为 地理位置 陀螺仪 实时⼼率 云端AI 端侧AI 挑战应对 训练模型 部署模型 计算⼦图 输出结果 资 Caffe CPU kernel 转换 调度 执⾏ 碎 统⼀可拓展描述 常量识别