机器人操作系统（ROS）课件8.1机器视觉.pptx

机器人操作系统（ROS）

机器人操作系统（ROS）机器视觉8.1

机器人操作系统（ROS）8.1机器视觉机器视觉作为人工智能技术的一个重要分支，近些年发展迅速。其主要原理为通过计算机和相机，对生物的视觉系统进行模拟，将被摄目标的信息转换成可以被计算机进行处理的图像信息。并根据其图像特征，经由图像处理系统，代替人类对目标进行的识别、检测、分类、跟踪等功能。

机器人操作系统（ROS）8.1.1相机驱动安装本节使用的摄像头品牌为RMONCAM林柏视，如图8-1所示。$sudoapt-getinstallros-melodic-usb-cam运行以下命令下载摄像头驱动(具体版本视安装的ros版本决定)，如果系统已经安装了驱动，则会显示如右图所示的结果：安装摄像头驱动结果图林柏视相机

机器人操作系统（ROS）8.1.1相机驱动安装下面进行相机测试，运行以下命令启动摄像头驱动功能包，运行结果如下图所示：$roslaunchusb_camusb_cam-test.launch此时出现的图像一般为电脑自带的摄像头，如果电脑不带摄像头且没有接入摄像头，就不会出现该界面。一般电脑的摄像头默认为video0，外部接入的USB摄像头编号视实际情况而定（本节摄像头设备号为video2）。

机器人操作系统（ROS）8.1.1相机驱动安装如果电脑没有自带摄像头，外部接入的摄像头就会为video0，运行以下命令查看摄像头端口号，运行结果如下图所示：$ls/dev/当电脑自带摄像头且外接有摄像头时，usb_cam-test.launch只会调用自带的摄像头，此时如果要调用外接摄像头，需运行以下命令修改usb_cam-test.launch，运行结果如下图所示。

机器人操作系统（ROS）8.1.1相机驱动安装将video_device的value从“/dev/video0”变成“/dev/video2”，这样就能通过usb_cam-test.launch调用外接摄像头，usb_cam-test.launch内容如下所示：launchnodename=usb_campkg=usb_camtype=usb_cam_nodeoutput=screenparamname=video_devicevalue=/dev/video0/paramname=image_widthvalue=640/paramname=image_heightvalue=480/paramname=pixel_formatvalue=yuyv/paramname=camera_frame_idvalue=usb_cam/paramname=io_methodvalue=mmap//node/launch修改完usb_cam-test.launch，运行以下命令重新启动摄像头驱动功能包，此时启动的摄像头是外接摄像头，运行结果如右图所示：$roslaunchusb_camusb_cam-test.launch

机器人操作系统（ROS）8.1.2通过rviz显示图像首先通过如下命令查看摄像头发布的话题列表，运行结果如图8-7所示：$rostopiclist可以看到/usb_cam/image_raw是摄像头功能包发布的图像话题。

机器人操作系统（ROS）8.1.2通过rviz显示图像运行以下命令打开rviz：$rosrunrvizrviz点击左下角Add，选择Image，确定并将其勾选，rviz添加Image界面如图8-9所示

机器人操作系统（ROS）8.1.2通过rviz显示图像然后修改Image的ImageTopic为/usb_cam/image_raw，即可通过rviz调用摄像头显示图像，显示结果如图所示。

机器人操作系统（ROS）8.1.3相机内参标定我们所处的世界是三维的，而照片是二维的。相机的内参标定就是假定相机符合针孔相机模型，通过内参的标定求解模型的参数，以达到用简单的数学模型来表达复杂成像过程的目的，并求解出成像的反过程。而且由于镜头径向曲率产生的径向畸变，以及相机组装过程中不能使透镜严格和成像平面平行而产生的切向畸变，会在图像的数据处理中产生误差，因此需要针对摄像头的参数进行标定。本节采用的是基于ROS的可对单目和双目相机标定的camera_calibration功能包。

机器人操作系统（ROS）8.1.3相机内参标定在进行标定之前，需要先准备一个尺寸已知的标定板。本书采用如下图所示的棋盘格标定板，每个棋盘格的边长为0.024m。实际标定过程中检测的为标定板内部的角点，标定的size也就是内部交叉点的个数，而不是方形格的