基于rgbd相机的果树三维重构与果实识别定位-农业机械学报.pdfVIP

２０１５年 １２月 农 业 机 械 学 报 第 ４６卷 增刊 ｄｏｉ：１０．６０４１／ｊ．ｉｓｓｎ．１０００１２９８．２０１５．Ｓ０．００６ 基于ＲＧＢ Ｄ相机的果树三维重构与果实识别定位 麦春艳　郑立华　孙　红　杨　玮 （中国农业大学现代精细农业系统集成研究教育部重点实验室，北京 １０００８３） 摘要：为实现对果园果实机器人采摘提供科学可靠的技术指导，提出了一种基于 ＲＧＢ Ｄ相机的苹果果树三维重 构以及进行果实立体识别与定位的方法。使用 ＲＧＢ Ｄ相机快速获取自然光照条件下果树的彩色图像和深度图 像，通过融合果树图像彩色信息和深度信息实现了果树的三维重构；对果树的三维点云进行 Ｒ Ｇ的色差阈值分割 和滤波去噪处理，获得果实区域的点云信息；基于随机采样一致性的点云分割方法对果实点云进行三维球体形状 提取，得到每个果实质心的三维空间位置信息和果实半径。实验结果表明，提出的果树三维重构和果实立体识别 与定位方法具有较强的实时性和鲁棒性，在 ０８～２０ｍ测量范围内，顺光和逆光环境中果实正确识别率分别达 ９５５％和８８５％；在果实拍摄面的点云区域被遮挡面积超过５０％的情况下正确识别率达 ８７４％；果实平均深度定 位偏差为８１ｍｍ；果实平均半径偏差为４５ｍｍ。 关键词：苹果采摘机器人　ＲＧＢ Ｄ相机　三维重建　识别　定位　点云分割 中图分类号：ＴＰ３９１４１；Ｓ２１６ 文献标识码：Ａ 文章编号：１０００１２９８（２０１５）Ｓ０００３５０６ Ｒｅｓｅａｒｃｈｏｎ３ＤＲｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆＦｒｕｉｔＴｒｅｅａｎｄＦｒｕｉｔＲｅｃｏｇｎｉｔｉｏｎ ａｎｄＬｏｃａｔｉｏｎＭｅｔｈｏｄＢａｓｅｄｏｎＲＧＢ ＤＣａｍｅｒａ ＭａｉＣｈｕｎｙａｎ　ＺｈｅｎｇＬｉｈｕａ　ＳｕｎＨｏｎｇ　ＹａｎｇＷｅｉ （ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＭｏｄｅｒｎＰｒｅｃｉｓｉｏｎＡｇｒｉｃｕｌｔｕｒｅＳｙｓｔｅｍＩｎｔｅｇｒａｔｉｏｎＲｅｓｅａｒｃｈ，ＭｉｎｉｓｔｒｙｏｆＥｄｕｃａｔｉｏｎ， ＣｈｉｎａＡｇｒｉｃｕｌｔｕｒａｌＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｐｒｏｖｉｄｅａｓｃｉｅｎｔｉｆｉｃａｎｄｒｅｌｉａｂｌｅｔｅｃｈｎｉｃａｌｇｕｉｄａｎｃｅｆｏｒｆｒｕｉｔｈａｒｖｅｓｔｉｎｇｒｏｂｏｔｉｎ ｏｒｃｈａｒｄ，ａｍｅｔｈｏｄｗａｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒｔｏｒｅｃｏｎｓｔｒｕｃｔ３Ｄｉｍａｇｅｆｏｒａｐｐｌｅｔｒｅｅａｎｄｃａｒｒｙｏｕｔ ｒｅｃｏｇｎｉｔｉｏｎａｎｄｌｏｃａｔｉｏｎｆｏｒｅａｃｈａｐｐｌｅｆｒｕｉｔ．Ｆｉｒｓｔｌｙ，ｔｈｅｃｏｌｏｒｉｍａｇｅａｎｄｄｅｐｔｈｉｍａｇｅｏｆｔｈｅｆｒｕｉｔｔｒｅｅｓ ｗｅｒｅｔａｋｅｎｂｙａｎＲＧＢ Ｄｃａｍｅｒａ，ａｎｄｔｈｅ３Ｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｅａｃｈｆｒｕｉｔｔｒｅｅｗａｓｃａｒｒｉｅｄｏｕｔｂｙｆｕｓｉｎｇ ｉｔｓｃｏｌｏｒａｎｄｄｅｐｔｈｉｎｆｏｒｍａｔｉｏｎ．Ｔｈｅｎ，３Ｄｐｏｉｎｔｃｌｏｕｄｏｆｔｈｅｆｒｕｉｔｒｅｇｉｏｎｗｅｒｅｓｅｇｍｅｎｔｅｄｆｒｏｍｔｒｅｅ’ｓ ｐｏｉｎｔｃｌｏｕｄｂｙａｐｐｌｙｉｎｇｔｈｅｃｏｌｏｒｔｈｒｅｓｈｏｌｄｏｆＲ Ｇ．Ｆｉｎａｌｌｙ，ｔｈｅ３Ｄｓｈａｐｅｏｆｅａｃｈｆｒｕｉｔｐｏｉｎｔｃｌｏｕｄｗａｓ ｅｘｔｒａｃｔｅｄａｎｄｉｔｓ３Ｄｓｐａｔｉａｌｐｏｓｉｔｉｏｎｉｎｆｏｒｍａｔｉｏｎａｎｄｒａｄｉｕｓｗｅｒｅａｌｓｏｏｂｔａｉｎｅｄｂｙｕｓｉｎｇｉｔｅｒａｔｉｖｅｌｙｔｈｅ ＲＡＮＳＡＣ（Ｒａｎｄｏｍ ｓａｍｐｌｅｃｏｎｓｅｎｓｕｓ）ａｌｇｏｒｉｔｈｍｔｏｆｉｔｅａｃｈｆｒｕｉｔｔｏａｐｒｅｄｅｆｉｎｅｄａｐｐｌｅｍｏｄｅｌ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｏｆ３Ｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆａｐｐｌｅｔｒｅｅａｎｄｒｅｃｏｇｎｉｔｉｏｎ