【推荐下载】在嵌入式设备上做深度学习让摄像头更像人眼.pdf

张小只智能机械工业网

在嵌入式设备上做深度学习让摄像头更像人眼

随着终端设备大规模接入互联网，在终端设备上产生的海量数据在提供商业价值

的同时，也对数据处理提出挑战。由于网络带宽有限，又要满足实时响应的需求，边

缘计算成为发展的新趋势之一。

 当边缘计算遇上深度学习会是怎么样？

 在嵌入设备等终端设备上做深度学习有几个天然的优势，第一就是在没有网络的情

况下嵌入设备上也能直接做计算，第二就是直接在嵌入设备上计算避免了延迟的问

题，不需要担心由于网络传输带来的延迟问题，第三就是数据存储在终端解决了一大

部分的隐私问题。

 当然目前一般只是把推理（Inference）部分放在终端设备，训练(training)部分还是可

以在云端完成。

 不过由于终端设备上计算能力和计算带宽有限，需要特殊的深度学习算法，探长最

近采访了一家计算机视觉领域的创业公司PilotAILabs，他们就提供基于深度学习的嵌

入式设备的计算机视觉的解决方案。

 PilotAILabs的创始团队

 PilotAILabs的联合创始人兼首席执行官JonathanSu是个连续创业者，拥有斯坦福

大学计算机博士学位，在数值优化和高性能计算方面拥有丰富的专业知识。

 他是PhiSix时装实验室的首席执行官和联合创始人，于2014年出售给eBay。他在

eBay担任工程总监，并在MetaMind担任高级数据科学家。

 PilotAILabs创始团队来自于斯坦福和MetaMind，Jonathan和其他核心成员是同

事、同学，其中还有多年的室友。

张小只机械知识库

张小只智能机械工业网

 专注于嵌入设备的计算机视觉

 PilotAILabs目前公司团队约三十人，丹华资本领投了种子轮，而NEA领投A轮融

资。

 PilotAILabs专注于构建基于深度学习的计算机视觉平台，该平台已经过优化，可在

嵌入式设备上实时运行。他从创业之初就选择了深度学习领域的创业，而且明确的选

择了视觉作为创业方向，一方面是他们在这方面有相当的积累，另一方面则是学术界

和工业界的研究和应用已经有了一定的基础。

 PilotAILabs希望把计算机视觉的能力装入嵌入型芯片，直接应用在很多小型的摄像

头里，比如GoPro。Pilot.ai能在非GPU设备（比如ARM）上完成深度学习算法的部

署，这可以大范围应用或者后装(retro-fit)于计算能力有限的一体机上，比如无人机、

VR/AR设备、安防摄像头、运动相机等，如此一来，Pilot.ai可以让自己的使用门槛

大大降低，即使没有高性能的硬件，客户也可以直接将Pilot的模块嵌入到自己的产

品中，这对他们的市场推广有着极大优势。

 PilotAILabs他们有特殊的经过收缩(shrink)的深度神经网络算法，不同于一般意义

的将神经网络进行剪裁(pruning)，收缩（shrink)后的神经网络能够在大部分计算能力和

计算带宽比较受限的环境下运行，此外，他们也有比较独特的数据训练方式，最大化

利用训练数据。

 他们还开发了自己的深度学习框架和工具，可以相对通用的用于计算机视觉的各个

领域，他们的解决方案也融合了传统的计算机视觉方法。

 以无人机为切入

 PilotAILabs技术上比较强于跟踪(tracking)和检测(detecting)，他们评估了计算机视

觉的各种可能应用场景，最终选择无人机作为切入口，利用视觉来实现自动跟随等功

张小只机械知识库

张小只智能机械工业网

能。

 Pilot.ai将为无人机做视觉追踪降低门槛。对于无人机厂商来说，直接购买嵌入了

Pilot.ai算法的芯片就可以获得其计算机视觉识别能力，无需GPS追踪定位。

 他们的解决方案可以在多人的环境下依然比较好的实现跟