手把手教你在NCS2上部署yolov3-tiny检测模型OpenVINO与NCS简介.PDFVIP

SIGAI 人工智能平台 干货|手把手教你在NCS2 上部署yolov3-tiny 检测 模型 如果说深度学习模型性能的不断升得益于英伟达 GPU 的不断发展，那么模型的边缘部署可能就需要借助英 特尔的边缘计算来解决。伴随交通、医疗、零售等行业中深度学习应用的发展，数据处理和智能分析逐渐从云端 走向边缘。本人与大家分享一下英特尔的边缘计算方案，并实战部署yolov3-tiny 模型。 OpenVINO 与NCS 简介 早在 2016 年，英特尔收购了 Movidius，并在 2018 年推出了两代神经计算棒（分别称为 NCS 和 NCS2，统称 NCS 设备）。除了硬件，英特尔推出了 OpenVINO 深度学习部署工具包，并且在 2018 年下半年更新了 5 个版本， 早期称为dldt[1]，其中包括模型优化器和推理引擎以及面向OpenCV 和OpenVX 的优化计算机视觉库。 SIGAI 人工智能平台 图1： NCS 和NCS2 NCS 基于 Mygrid2VPU，NCS2[2]是基于 Mygrid X VPU，英特尔®Movidius™Myriad™X VPU 是最新一代的英特尔 ®VPUs。它包括16 个强大的处理内核（称为 SHAVE 内核）和专用的深度神经网络硬件加速器，用于高性能视觉和 AI 推理应用。 图2： NCS 和NCS2 性能比较 要在 NCS 设备上跑神经网络，可以使用 Movidius SDK （ncsdkv1 和 ncsdkv2），ncsdkv2 与 ncsdkv1 不兼容， ncsdkv1 现在基本已经被弃用，并且 ncsdkv1 和 ncsdkv2 仅支持一代计算棒 NCS，不支持NCS2，只有OpenVINO 同 时支持NCS 和 NCS2。OpenVINO 实际上包含了Movidius SDK，相对于Movidius SDK 一是增加了对深度学习功能的 支持，其中包含一个深度学习的部署工具套件，里面包括了模型优化器和推理引擎；另外增加了对 OpenCV 、 OpenVX 等这些在传统计算机视觉领域用的比较普遍的函数库的支持，而且这些函数库都在英特尔的CPU 上做了优 化。与 Movidius SDK 相比，原来只是做编码、解码的加速，现在不仅能做编解码的加速，也能做视频处理工作， 把 Mo