《机器人操作系统ROS应用实践》ch09 基于视觉的机械臂抓取.pptxVIP

第九章基于视觉的机械臂抓取机器人操作系统ROS应用实践 目录content深度相机9.19.5基于深度学习的物体识别9.2本章小结手眼标定原理和过程9.3基于视觉的机械臂抓取实现9.4 9.1深度相机1 双目相机和RGB-D深度相机双目相机双目立体视觉算法是模拟人眼系统的一种算法，因低廉的成本、较快的速度得到广泛使用。该算法用双目模拟人眼，基于视差原理，利用成像设备从不同的角度、位置对目标物体进行观察，实时采集左右两个图像，利用匹配算法实现左右图像特征点对的匹配，进而得到视差图，然后利用三角几何原理，实现对目标物体的三维信息恢复。 9.1深度相机1 双目相机和RGB-D深度相机双目相机采用双目立体视觉算法获取深度图像的设备称为双目相机。双目相机的主要优点如下。对硬件要求低，成本也低。对室内外场景的适应性好。 9.1深度相机1 双目相机和RGB-D深度相机双目相机采用双目立体视觉算法获取深度图像的设备称为双目相机。但是双目相机的缺点也非常明显，具体如下。对环境光照敏感，光线变化易导致匹配失败或精度降低。计算复杂度较高，涉及左右两个摄像头的特征匹配，需要消耗较多的计算资源。基线（两个摄像头间距）限制了测量范围，测量范围和基线成正比。不适用于缺乏纹理的场景（如白墙场景），因为双目视觉算法根据视觉特征进行图像匹配，没有特征会导致匹配失败。 9.1深度相机1 双目相机和RGB-D深度相机RGB-D深度相机RGB-D深度相机通过结构光或ToF测量物体深度信息，相比于双目相机通过视差计算深度的方式，RGB-D深度相机能够主动测量每个像素的深度。RGB-D深度相机最大的特点是不仅能够像普通相机一样去获取图像信息，还能够得到深度图，深度图中包含每个像素点的深度数据（即空间中的点到相机成像平面的距离），避免了双目相机需要利用视差，通过软件计算每个像素点深度信息的烦琐过程。RGB-D深度相机除含有一个普通的光学摄像头外，还含有一个发射器和一个接收器。RGB-D深度相机主动向物体发射并接收返回光，通过物理手段计算出相机与物体之间的距离。 9.1深度相机1 双目相机和RGB-D深度相机RGB-D深度相机如图所示，微软公司2012年发布的Kinect V1相机是一种基于结构光的RGB-D深度相机，中间的元件为RGB摄像头（Color Camera），可采集彩色图像；左边的元件为红外发射器（IR Project），右边的元件为红外接收器（IR Camera），左右两个元件组成了深度传感器（Depth Sensor）。 9.1深度相机1 双目相机和RGB-D深度相机RGB-D深度相机基于结构光的RGB-D深度相机的基本原理是：通过红外发射器，将具有一定结构特征的红外线图案（Pattern）投影到物体表面，再由专门的摄像头进行采集。这种具备一定图案结构的光线到达被摄物体表面时，被摄物体表面结构的不同会导致图案结构变形，通过运算单元可将这种图案结构变形换算成深度信息，以此来获得被摄物体的三维结构。根据结构光图案的不同，其一般可分为线扫描结构光（也叫条纹结构光）和面阵结构光。其中，线扫描结构光比面阵结构光简单，精度也比较高，在工业中广泛用于物体体积测量、三维成像等领域。面阵结构光大致可分为两类：编码结构光和随机结构光。 9.1深度相机1 双目相机和RGB-D深度相机RGB-D深度相机编码结构光又可以分为时序编码结构光和空间编码结构光。时序编码结构光是在一定时间范围内，通过投影器向被测空间投射的一系列明暗不同的结构光。每次投射都通过相机进行成像，对每个像素生成唯一的编码值。时序编码结构光的优点是精度高，缺点是只适用于静态场景，而且需要拍摄大量图像，实时性不好。为满足动态场景的需要，可以采用空间编码结构光。 9.1深度相机1 双目相机和RGB-D深度相机RGB-D深度相机编码结构光又可以分为时序编码结构光和空间编码结构光。空间编码结构光特指向被测空间中投影的经过数学编码的、一定范围内的、光斑不具备重复性的结构光。这样，某个点的编码值可以通过其邻域获得。重建的精度取决于空间编码的像素数量（窗口大小）。常用的空间编码方式有方波、正弦波、德布鲁因序列、二维空间编码。空间编码结构光的优点是无须很多图像，只需要一对图像即可进行三维重建，实时性好，常用于动态环境中；缺点是易受噪声干扰，反光、照明等原因可能导致成像时部分区域的编码信息缺失，对空间中的遮挡比较敏感，相较于时序编码结构光精度较低。 9.1深度相机1 双目相机和RGB-D深度相机RGB-D深度相机随机结构光较为简单，也更加常用。随机结构光是投影器向被测空间中投射的亮度不均和随机分布的点状结构光（不带编码信息）。随机结构光通过双目相机成像，所得的图像经过极线校正后再进行双目稠密匹配（与双目算法相似），即可重建出对应的深度图