学习周报no3简报.pptVIP

单目SLAM应用-别人家的扫地机器人 机器人解决方案公司PerceptIn 视频 研究问题：单目实现定位与语义地图的构建 单目优点：结构简单，成本特别低 单目缺点：只有一个图像，最大的局限性是测不到空间物体的距离 距离未知导致单目SLAM存在以下问题： 需要初始化 尺度不确定 尺度漂移 我的研究重点： 单目实时定位与构建语义地图 论文：CNN-SLAM CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction CVPR: 计算机视觉和模式识别国际顶级会议 解决的问题： 1. 真实距离的确定，绝对尺度的预测，相机在纯旋转运动情况下立体匹配失效问题的解决 2. 纹理特征较弱情况下稠密深度地图的重建， 3. 语义标签和场景重构的融合，语义重构只基于双目[28]或RGB-D数据[15]，本文解决了单目下协同进行场景的 3D 以及语义重建的情况。 整体框架 该文章对每张图片进行相机姿态估计，然后逐帧细化，使用CNN对关键帧估计Depth，创建关键帧的姿态图，以全局优化其相对姿态， 同时采用第二个CNN来预测图片的语义分割。然后将Geometry和semantic融合起来，生成具有语义标签的地图。 评估指标 数据集 ICL-NUIM数据集[1]，TUM RGB-D SLAM[2]数据集和NYU_Depth_V2数据集[25] 评估指标： 基于绝对轨迹误差（ATE）的相机姿态精度 深度 CNN-SLAM效果 文章在两个公开数据集上，对比了 LSD-SLAM、ORB-SLAM、REMODE 算法，验证了CNN-SLAM算法在：相机位姿精度、三维重建精度、相机旋转运动下算法稳定性方面的优势 台式机-数据集 计算机视觉 屠晓涵 2017年12月8日 目录 课题来源：项目 研究背景和意义 研究问题和解决方案 评估指标和实验 论文方法应用效果 参考文献 项目1——单目测距 机器人结构图--涉密已删除 内外兼修： 背景：移动机器人 定位与建图： 机器人在陌生的环境运动， 它至少需要知道两件事： 定位：自己在哪里？ 建图：周围的环境是怎样的 “我在哪”“我要去哪”“我怎么去” 定位+制图+路径规划 目的：在没有环境先验信息的情况下，机器人要在运动时建立环境的模型，同时估计自己的运动，使自己具有自主运动能力--实时定位与导航。 建图的意义 导航用地图: ? 精确 ? Occupancy maps: 描述某个空间点是否被占据 对建图的需求 观看 精确 紧凑 快速 建图 理解 机器人怎么自主行走的？ SLAM(Simultaneous?Localization?and?Mapping)定位与建图：自动化控制-ROS、实时 SLAM--同步构建周围世界的3d地图，并确定robot所在的位置和方向。 前端视觉里程计：通过分析处理相邻图像序列，来确定机器人的位置和姿态，平移，旋转 后端优化：从带有噪声的数据中优化轨迹和地图（状态估计问题），进行校正 回环检测：检测位置估计随时间飘移的问题 视觉 传感器数据 前端 视觉里程计 后端 非线性优化 建图 回环检测 视觉SLAM流程图 构建语义地图 语义分割 （目标检测、分割等） SLAM (基于几何信息等建图定位) 提高复杂场景的建图和定位精度 利用物体的位置约束和提高语义分析精度 路径规划 导航 听从指令搬运物体 家务助手 运动陪伴 …… 物体识别、分割往往只需考虑一个图，对于目前只拥有一个单目相机的机器人，语义地图有什么用？ 单目机器人行走方案 语义分割 （目标检测、分割等） SLAM (基于几何信息等建图定位) 提高复杂场景的建图和定位精度 利用物体的位置约束和提高语义分析精度 路径规划 导航 听从指令搬运物体 家务助手 运动陪伴 …… 物体识别和语义分割都需要大量的训练数据，要让机器人识别各个角度的物体，需要从不同视角采集数据，进行人工标定——成本高 故借助SLAM，自动计算物体在图像中的位置，节省人工标定的成本；采用CNN，自动生成带有高质量标注的样本数据，大大加速检测与识别。 国际计算机视觉大会ICCV2017最后总结致辞: SLAM和深度学习互补。 SLAM专注于几何问题，深度学习主要解决感知与识别。 如果想让机器人走到冰箱而不撞墙，你需要SLAM；如果要识别冰箱内的物体，你需要深度学习