《机器人操作系统ROS应用实践》ch08 计算机视觉.pptxVIP

第八章计算机视觉机器人操作系统ROS应用实践 目录content认识OpenCV8.18.7单目视觉传感器的使用8.2本章小结相机标定8.3图像变换与处理8.4常见的图像特征点检测算法8.4目标识别8.6 8.1认识OpenCV1 安装OpenCV一般来说，ROS中已经集成了OpenCV，所以不需要进行额外的安装操作了。如果没有安装OpenCV，推荐安装ROS perception功能包，perception功能包集成了OpenCV和开源点云处理库（Point Cloud Library，PCL），以及其他机器人感知相关的功能包。输入下面的命令进行安装：注意：如果想要使用GPU加速等高级功能，需要自行编译相关OpenCV库，ROS集成的OpenCV不包含这些拓展模块。 8.1认识OpenCV2使用OpenCV首先，新建一个功能包，包名为ros_opencv：在包下放一个img_pub.cpp文件，作用是读取一个图像并发布出去，内容如下： 8.1认识OpenCV2使用OpenCV首先，新建一个功能包，包名为ros_opencv：然后新建一个img_sub.cpp文件，接收图像并显示，内容如下： 8.1认识OpenCV2使用OpenCV首先，新建一个功能包，包名为ros_opencv：编写配置文件CMakeLists.txt，内容如下： 8.2单目视觉传感器的使用在ROS系统中，常用的视觉传感器是相机，其价格低廉且易使用。和其他传感器不同的是，在正式使用相机的数据之前需要对它进行标定。标定可以使用ROS自带的camera_calibration包进行。当相机通过USB与计算机连接之后，下一步便是通过ROS来调取相机图像了。不过，在ROS中，相机并不被原生支持，需要先安装驱动来获取相机图像并将其发布出去，相机的驱动安装完成之后，就可以使用image_view包来显示图像了，然后进一步将图像提供给其他算法来做处理。 8.3相机标定相机标定在计算机视觉中有着非常广泛的应用，如测量、导航、三维重建等领域，其主要目的是通过标定算法获得相机的内参（焦距、光心等）、外参（坐标变换关系）和畸变系数，从而得到物体二维图像与三维空间之间的对应关系。标定方法主要是，使用一种已知的标定图案（制作成标定板），对不同角度的视图进行辨识。常用的标定板有三种：棋盘格（Check-board）、April-grid和实心圆阵列（Circle-grid），如图所示。后面的相机标定介绍使用经典的棋盘格图案。 8.3相机标定1针孔相机模型相机成像的过程即通过透视投影变换，将三维世界中的坐标点映射到二维图像平面上的过程。这个过程可以用一个几何模型进行描述，通常称为针孔成像模型，对应的相机成像模型称为针孔相机模型。在不考虑透镜畸变的情况下，建立针孔相机模型，如图所示。在相机前建立一个虚拟成像平面，得到虚拟成像图像，并定义焦点、焦距。 8.3相机标定1针孔相机模型在针孔相机模型的基础上，建立如图所示的四个坐标系，包括像素坐标系Op（以像素为单位，坐标原点图像在左上角）、成像平面坐标系Oi、相机坐标系Oc（以相机光心为原点）和世界坐标系Ow。 8.3相机标定1针孔相机模型像素坐标与成像平面坐标之间的变换以像素为单位建立像素直角坐标系Op，用某点坐标(u, v)来描述某一像素在图像中的位置。成像平面坐标系Oi建立在相机的CCD（电荷耦合器件）或CMOS元件上，为简化变换矩阵，将原点设为感光元件的中心，则可以得到像素坐标(u, v)与成像平面坐标(x1, y1)之间的对应关系：x1 = udx???u0dx = u = x1/dx + u0y1 = vdy???v0dy = v = y1/dy + v0式中，(u0,v0)表示成像平面坐标系Oi的原点在像素坐标系中的坐标，dx和dy表示每个像素在成像平面坐标系x和y方向上的实际物理长度，即单个像素点的实际物理尺寸。 8.3相机标定1针孔相机模型像素坐标与成像平面坐标之间的变换这样，图像的像素坐标与成像平面坐标（感光单元）的变换用齐次变换方程可以表示为 8.3相机标定1针孔相机模型成像平面坐标与相机坐标之间的变换以相机的光心（相机镜头与光轴的交点）为原点，建立三维的相机坐标系Oc，其x轴、y轴、z轴分别与成像平面坐标系的x轴、y轴、光轴平行。成像平面坐标系与相机坐标系的原点均位于光轴上，将两原点之间的欧氏距离定义为相机的焦距f（一般为mm级别）。设相机坐标系中有某目标点P(x, y, z)，点P在成像平面坐标系中的投影为点p(x1,y1)，由相似原理，可得两点之间的对应关系为：f/z = x1/x = y1/y = x1z = fx , y1z = fy 8.3相机标定1针孔相机模型成像平面坐标与相机坐标之间的变换这样，成像平面坐标系