激光雷达和摄像头如何合二为一？.pdfVIP

激光雷达和摄像头如何合二为一？ 最近几年，放在摄像头上的 自上而下：环境、强度、范围图像，以及点云 设备可以在近红外波段捕捉信号与环境信息，获得的数据，跟普通可见光图像差不太多。 这样，分析 RGB 图像用的算法，也可以处理激光雷达的数据。 小伙伴们还可以用 Ouster ( 刚刚进行了固件升级 ) 的开源驱动，把数据转换成 360 度的全 景动态： 数据跑一跑 就像刚才说的，只要数据够好，就可以用那些为摄像头开发的算法，来做深度学习。把深 度、强度和环境信息，编码成向量。就像 RGB 图像可以编码成红绿蓝通道一样。所以， OS-1 的数据质量究竟怎么样？ 数据跑得很开心 Pacala说，他们用过的算法，和激光雷达的合作都很愉快。 举个栗子，他们训练了一个像素语义分类器，来分辨可以行驶的道路，其他汽车，行人， 以及自行车。 这里是旧金山， 在英伟达 GTX 1060 上运行分类器， 实时生成了这样的 ** 语义分割 ** 效果： 语义分割：路是路车是车 这是团队做的第一个实现。 数据是逐像素的数据，所以能够无缝将 2D 翻译成 3D 帧，来做边框估计这类实时处理。 除此之外，团队还把深度、信号和周围环境分开，单独放进神经网络里去跑。一个栗子， 用了 SuperPoint 项目里预训练的神经网络，来跑强度和深度图像。 网络是在 RGB 图像上训练的， 从来没接触过激光雷达 /深度数据。 初次见面， 却一见如故： 不过，融合了摄像头属性的激光雷达，搭载到自动驾驶车上会有怎样的表现，还是未知。