基于机器视觉葡萄采摘点三维空间定位系统研究.docVIP

基于机器视觉葡萄采摘点三维空间定位系统研究 　　摘要：利用OpenCV与VC+ +语言平台开发了1套基于机器视觉的葡萄采摘点三维空间定位系统，并阐述了运用机器视觉技术实现葡萄目标从相机图像获取到采摘点三维空间数据计算的实现过程。同时利用直线夹角阈值、可信区域、点到直线最小距离与深度间距阈值4个约束条件改进了传统的葡萄采摘点果梗定位方式，使采摘点较好地定于葡萄果梗中部，后经立体匹配与双目视觉三维空间定位原理求取葡萄采摘点的三维坐标，提高了葡萄采摘点定位的精准度。 　　关键词：葡萄采摘点；双目视觉；三维定位；立体匹配 　　中图分类号： TP391.41 文献标志码： A 文章编号：1002-1302（2016）07-0377-04 　　我国是农业大国，水果经济产业在农业经济发展中占有重要的地位。近年来，利用机器视觉技术实现机器人对农业对象的自动作业已成为农业机械研究领域的热点[1-5]。如项荣等利用组合匹配方法与深度校正的双目视觉模型实现了番茄目标的三维定位，获得了较好的定位精度[6]；张凯良等基于机器视觉识别技术设计了1款针对高架栽培模式的草莓采摘机器人，采摘成功率达到88%[7]；Bac等利用人工设置辅助线实现了基于机器视觉技术的甜椒秆径定位识别，获得了较好的定位精度[8]；杨庆华等为了实现机器人对葡萄的套袋技术，结合葡萄|G-R|+|G-B|色差图与形状特征确定葡萄位置，取得较好效果[9]。 　　为解决农业采摘机器人对葡萄水果对象的无损采摘问题，本研究利用OpenCV与VC+ +语言平台开发了1套基于机器视觉的葡萄采摘点三维空间定位系统，并阐述了该系统实现葡萄目标从相机图像获取到采摘点三维空间数据计算的实现过程，同时还改进了罗陆锋等提出的自然状态果梗无遮挡状态下的葡萄采摘点位置确定方式[10]，通过直线夹角阈值、可信区域、点到直线最小距离与深度间距阈值4个约束条件使采摘点尽可能地定于葡萄果梗的中部，并通过立体匹配技术计算出葡萄采摘点的三维空间坐标，提高了采摘点的定位精准度，为机器人自动采摘作准备。经过试验发现该系统能够较好地完成葡萄采摘点的三维定位功能。 　　1 双目视觉葡萄采摘点三维空间定位系统框架 本研究双目视觉葡萄采摘点的三维空间定位系统的建立经过以下步骤实现（图1）：（1）相机标定与校正。通过采集含有标定物的多幅视场图像，根据相机标定原理，求解相机的内外参数，以及2个相机的空间位置关系，选择合适的算法校正相机的输出图像，避免因为相机畸变等因素产生图像的像素误差。本系统采用了Bouguet算法[11]原理实现相机图像的校正。（2）建立世界坐标系。对于已经校正好的相机输出图像，为了求解目标点的坐标需要建立参考坐标系，使得所求点的坐标以世界坐标系为基准，为机器人的采摘做好准备。（3）葡萄采摘点的识别与定位。从校正好的相机中获取有效区域中的葡萄图像，并通过分析确定采摘点图像坐标的位置，立体匹配求得左右图像间的视差，依据双目空间定位的原理求得葡萄采摘点的三维空间坐标。 　　2 双目相机三维空间定位原理 　　物体对象点的三维空间定位原理是通过被求空间点在左右相机中成像位置依据三角测量原理求解的。本研究采用Bouguet算法原理完成相机校正。经过Bouguet算法校正后的相机从数学上完成了左右相机的前向平行配置。使得左右图像具有行对准的特点，缩短了立体匹配的时间（图1）[11]。 　　图2中，Ol与Or分别表示2个相机的投影中心，以左相机Ol为基准点，投影中心Or到Ol的距离定义为基线距离b。P点为物体点在相机坐标下的坐标（Xc，Yc，Zc）。pl（ul，vl）为在目标点在左图像上的坐标，pr（ur，vr）为目标点在右图像上的坐标。经Bouguet算法校正后vl=vr=v，且左右相机的焦距一致，即fl=fr=f，则相机坐标系下P点的三维坐标由三角几何关系可得： 　　因此，左相机成像面上的目标点只要在右成像面上找到其对应的匹配点，就可确定该点在世界坐标下的坐标（Xw，Yw，Zw）。 　　3 葡萄采摘点三维空间定位实现 　　3.1 葡萄目标图像分割 　　图像分割是确定葡萄区域的关键步骤，本研究以夏黑葡萄（图3）为试验研究对象，通过彩色直方图反向投影技术[12]对目标区域进行分割。直方图反向投影是一种利用给定模板图像颜色分布直方图计算目标图像概率进行物体识别的技术[13]。该技术对于物体识别具有良好的效果，得到了广泛的应用研究。彩色直方图反向投影技术综合了颜色的RGB信息，对于物体的识别具有较好地效果。本研究通过彩色直方图反向投影、形态学处理、最大连通区域提取步骤确定目标轮廓（图4），该方式能够较好地降低误分割的现象，对于目标正确提取的概率较高，能够较好地适应于复杂环境下的葡萄目标检测。 　　3.2 葡萄采