苹果采摘机器人中的图像配准技术.docVIP

苹果采摘机器人中的图像配准技术 第 29 卷第 11 期 农 业 工 程 学 报 Vol.29 No.11 20 72013 年 6 月 Transactions of the Chinese Society of Agricultural EngineeringJun. 2013 苹果采摘机器人中的图像配准技术 周 薇 1，冯 娟 1,2，刘 刚 1※，马晓丹 1 （1. 中国农业大学现代精细农业系统集成研究教育部重点实验室，北京 100083； 2. 河北农业大学信息科学与技术学院，保定 071001） 摘 要：为了减少自然环境下的光线干扰，采用一个彩色相机和一个深度相机获取目标物的图像，利用多源传感 器信息融合与互补方法，实现多目标图像的精确配准。基于 TOF（time of flight）技术的 PMD（polarization mode dispersion）相机，能实时获得强度图像和深度信息。以苹果树为研究对象，采用 Harris 检测提取特征点，在归一 化互相关系数法的基础上运用邻域的支持强度实现了 PMD 图像与彩色图像的同名点配准。对自然场景中共 50 组 图片进行试验验证，该方法顺光条件下正确匹配率达到 85.75%，逆光条件下的匹配率是 79.57%，能满足光线变 化的图像精确配准的要求。 关键词：机器人，图像处理，图像配准，PMD 相机 doi：10.3969/j.issn.1002-6819.2013.11.003 中图分类号：TP242.6+2 文献标志码：A 文章编号：100211-0020-07 周 薇，冯 娟，刘 刚，等. 苹果采摘机器人中的图像配准技术[J]. 农业工程学报，2013，2911：20－26Zhou Wei, Feng Juan, Liu Gang, et al. Application of image registration technology in apple harvest robot[J]. Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE, 2013, 2911: 20－26. in Chinese with English abstract 0 引 言 在果蔬生产作业中，收获采摘是最费力、最耗 时的环节，据统计，约占整个作业量的 50%～ 70%[1]。采摘机器人能够降低工人的劳动强度、保证 果实适时采收。目前日本和欧美国家均已开展采摘机 器人研究，部分研究成果已有商品化产品[2-4]。中国跟 踪国外相关前沿技术，开展了多年的采摘机器人研 究，但尚有诸多关键技术未取得突破，尤其是目标物 的精确识别与快速定位技术，仍需进一步研究。 视觉系统是采摘机器人关键的组成部分之一， 其作用在于识别成熟果实，并得到其空间位置，国 内外在机器视觉方面已做了大量的研究工作，主要 尝试了 3 种技术：单个彩色相机，根据背景模型来 分割图像的果蔬采摘机器人[5-6]；双目立体视觉系 统，利用左、右 2 个相机所获得的图像差异计算目 标的三维信息[7-9]；激光扫描测距技术，利用一束激 光在扇形表面逐点扫描，同时激光测距仪沿着垂直 于扫描面的直线运动单元移动，根据各点反射的信收稿日期：2012-11-14 修订日期：2013-03-29 基金项目：国家自然科学基金资助项 作者简介：周 薇（1990－），江西人，研究方向：检测技术与自动化 装置。北京 中国农业大学现代精细农业系统集成研究教育部重点实验 室，100083。Email：suibian199090@126※通信作者：刘 刚（1966－），河北人，教授，博士生导师，研究方 向：电子信息技术在农业中的应用。北京 中国农业大学现代精细农业 系统集成研究教育部重点实验室，100083。Email：pac@//0. 息得到物体的形状及空间位置[10]。对于单个彩色相 机以及双目立体视觉系统，由于对光线较敏感、缺 少精确的距离检测方法，基于强度图像成像方法的 定位误差较大[11]。激光扫描测距技术辨析度高，但 是因激光扫描时间较长，不能满足对图像处理的实 时性要求。PMD[vision]? CamCube3.0 是基于 TOF（time- of-flight）技术的 3D 相机，它不仅能像传统 2D 相 机一样获得强度图像，还具备主动光源，能发出波 长 780 nm 的近红外波，此时果实的反射率比叶片 高[12]，有利于果蔬识别，并且能实时获得传感器件 上每个像