三维地图创建例会辩析.ppt

* 移动机器人在未知环境下的基于视觉系统上的地图创建 2015年11月2日 论文的难点：如何从图像中提取稳定的特征点，如何实现相邻连续帧的特征点匹配。移动机器人的运动会引起摄像机位姿在三维模型中的变化，如何实时更新三维模型图中摄像机的位姿。 论文的框架： 摄像机成像模型以及标定方法 机器人的位姿估计 对相机进行标定并给出标定结果 在构建三维虚拟场景中完成图像的描绘 图像特征点提取和跟踪 Kinect介绍及标定 Kinect是采用图像辨识的方式，透过摄像头和红外线镜头获取图像，判断使用者的位置和整体动作，甚至还能记录实物画面、以及辨识使用者性别。 Kinect的工作原理 Kinect通过CMOS红外传感器的黑白光谱来感知环境，纯黑代表无限远，纯白代表无穷近。黑白之间的灰色地带对应物体到传感器的物理距离。它通过收集视野范围内的每一点，形成一幅代表周围环境的深度图像。传感器以每秒30帧的速度生产深度图像流，通过对图像流的处理可以实时3D的再现周围环境。 Kinect标定 由于制造工艺等外部因素，摄像机的成像过程不可能严格满足理想情况下摄像机成像的条件。透镜形状会产生径向畸变，而在整个摄像机的组装过程会产生切向畸变。在成像过程中产生的畸变，导致物体在摄像头成像平面上存在误差。通过标定，可以将错误的图像进行校正，减少图像失真。 序列图像的特征提取和匹配 SLAM问题涉及到移动机器人自身的位姿状态和外部环境的信息。本课题的三维重建系统是基于特征点。 序列图像 特征点提取 实时 重建三维场景 确定摄像机 相对位置和姿态 相邻图像 特征点跟踪匹配 相邻图像帧 进行拼接 在SLAM系统中，通常用“路标特征”来表述参与定位和重建的特征点。路标特征具有特殊的性质。 这些特性我们概括为: 1，它必须是环境中自带的特征； 2，它的运动情况必须己经知道，我们假设所有的环境特征都是静止不动； 3，在发生视觉转换时，仍能容易辨识，且很少被遮挡。 为了实现对序列图像的跟踪匹配，我们首先需要对图像进行处理，提取图像中容易识别的特征点。这些图像特征应该是独一无二的，或者至少接近独一无二，一般是图像中的斑点、边缘点或角点。它便于与另一张图像中的其它点或者是相同点进行参数的比较。 Harris算子、KLT算子、非尺度空间特征点检测算子 Harris算子 KLT算子 KLT算法为了得到Z矩阵，需要先进行灰度处理，再二阶求导。根据Z矩阵两个特征值大小判断该点是否可以作为特征点。假设I表示灰度图像，则Z矩阵表达式如下所示: 其中， 为某邻域内一阶x方向导数， 为对应的一阶y方向导数。设 和 为Z矩阵的两个特征值， 表示相邻两帧之间特定窗口上灰度误差平方和。 图3-2描述KLT算子如何选择选择特征点： 非尺度空间点特征检测算法 传统的算法非常消耗时间，对于在计算机视觉系统中的第一步特征点检测步骤而言，得不偿失。而不包含尺度空间的特征点算法却能达到很高的效率。Fast Corner是非尺度空间类别中的一种算法，只需利用周围像素比较信息就能得到特征点。 Fast Corner认为，一个特征点的特征响应度与其圆形图像域的自相似度有关。它的定义基于特征点周围的图像灰度值，检测候选特征点周围领域的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大，则把该候选点为当作特征点。这个“周围领域”由一个Bresenham圆来界定。 4.1投影矩阵的求解原理…… …… 第四章 三维信息获取和环境地图表示 基于立体视觉的实时三维地图构建 本文提出了由视差图实时构建三维地图的算法。 视差图到车体坐标系下的三维地图重建 建立全局坐标下的全局地图 车体坐标系到全局坐标系的转换 由于实时性要求，目前用于导航的地图构建多基于雷达。 本文提出了基于立体视觉的实时三维地图构建，与基于雷达的地图构建相比，它有以下优点： 1摄像机价格较低，且属于被动式，隐蔽性较好; 2此外一般的雷达不能真实的反映地形高度，而摄像机不存在这个问题; 3并且由于现今处理器速度的提高，基于立体视觉的三维地图构建也能达到导航的实时性要求。 三维场景重建 视差图到摄像机坐标系下三维坐标的转换 本文的视差图已经由双目立体匹配得到，利用视差图的三维场景重建首先需要求得视差图上各点在摄像机坐标系下的三维坐标。 对于三维空间中任意物点p在摄像机坐标系下z轴上的坐标可以由下式得到: 在得到深度信息之后，可以由摄像机的线性成像几何模型得到任意物点p在摄像机坐标系下的 和 分量。 摄像机坐标系到车体坐标系的转换 在摄像机坐标下描述的场景依赖于摄像机的安装位置，即当摄