【商汤实习总结】深度学习模型部署与落地.pdfVIP

【【商商汤汤实实习习总总结结】】深深度度学学习习模模型型部部署署与与落落地地 温故⽽知新，参考mentor睿昊学长(x hplus)和主 锋伟(forwil)的专栏，记录在商汤实习内容的总结和反思。希望商汤⼯具⼈组越来越nb ！ 什什么么是是模模型型部部署署 经过⼤量的图⽚进⾏训练后，⼀个具有上亿个参数的深度学习模型在测试集上达到的预定的精度，这时候⽼板们⼀定催着把这个模型上线/搭载到产品中 进⾏ 验证/售卖。模 型部署就是完成深度学习算法产品化的最后⼀步。⼀个完美的模型部署⼯具/ 引擎，理应完成以下⼏个功能： 跨平台：可跑在任何的硬件上，包括各类cpu/gpu/dsp/asic/fpga... ⾼效能：速度快、占⽤内存少... 保精度：产品精度与训练精度保持⼀致、损失极少... 产品集成：满⾜产品的各种⽤法，包括加密、批处理、reshape，甚⾄授权，可裁剪 训练打通：与训练⽣态打通，最好是训练完成后，简单命令直接导出 理想是美好的，现实往往很惨。理应把模型部署做的很好的源头：pytorch、tensorflow 做得不尽⼈意，尤其体现在跨平台、⾼效能和产品集成上。猜测是因为GF两家的模 型部署场景只有云与端，云侧可以⽤暴⼒