深度神经网络推理的深度优化实践.pdfVIP

CPP-Summit 2019 CPP-Summit 2019 深度神经网 络推理的深 张银奎 度优化实践 格蠹科技(Xedge.AI)创 始 人 简 介 张银奎(Raymond Zhang) 微软MVP (2016-2017) 20+年编程经历 《软件调试》 《格蠹汇编》 译作 《机器学习》 《观止——微软创建NT和未来的夺命狂奔》 《现代X86汇编语言编程》 《21世纪机器人》 曾主笔 《程序员》杂志调试之剑专栏 高端调试网站()创始人 格蠹科技(Xedge.A I)创始人 CPP-Summit 2019 议 程 背景 1 针对边缘设备的深度神经网络推理 关键优化点 2 深度优化的关键点 ，去除依赖 ，调度器 ，定制堆 ，镜像文件等 工具 3 优化过程中所使用的主要工具 CPP-Summit 2019 训练：误差反向传递以改进智能 推理：特征正向传递以产生结果 CPP-Summit 2019 今 天我们只讨论推理 在边缘设备上推理，追求低开销、低功耗、低延时、高效率 CPP-Summit 2019 优化 1 ：去掉对累赘代码 的依赖 Google protobuf 很多自动产生的代 码 很多简单重复 冗长，臃肿 对一个严肃的C++ 程序员，是可忍孰 不可忍 CPP-Summit 2019 Gennie推理 模型 引擎 Caffe， TensorFlo libprotobuf GnnLoader Gnn模 型文件 w 在开发环境中转换模型