融合语义分割和三维点云分析的果园障碍物实时重构方法.pdfVIP

第40卷第16期农业工程学报Vol.40No.16

1802024年8月TransactionsoftheChineseSocietyofAgriculturalEngineeringAug.2024

融合语义分割和三维点云分析的果园障碍物

实时重构方法

林桂潮，徐，曾文勇，王明龙，殷瑞涵，丁力行，朱立学

（仲恺农业工程学院机电工程学院，广州510225）

摘要：针对果园障碍物识别和重构存在实时性差的问题，该研究以番石榴果园为例，提出了融合语义分割和三维点

云分析的果园障碍物实时重构方法。首先，以DeepLabV3+为基础，使用MobileNetV3-large作为骨干网络以实时提取

特征图，结合上下文Transformer注意力丰富特征图细节和语义信息，进一步提出基于Sobel算子的边缘辅助损失函数

以提升障碍物分割精度；在此基础上，运用体素化法将枝干三维点云重构为大量立方体，构建基于欧式聚类的果实三维

重构方法，设计一种融合逆投影变换和交并比的重构评价指标。试验结果表明：该方法对障碍物语义分割的平均交并比

为77.2%，比Xception-DeepLabV3+提高7.0个百分点；平均顿速为78.8/s；该方法对枝干和果实的重构交并比分别

为56.6%和65.7%，平均重构时间分别为0.84s和0.34s。该研究实时性和精度较高，满足水果采摘机器人实时避障作

业需求。

关键词：果园；三维点云；障碍物；语义分割；DeepLabV3+；体素化

doi:10.11975/j.issn.1002-6819.202404129

中图分类号：S24文献标志码：A文章编号：1002-6819(2024)-16-0180-08

林桂潮，徐垚，曾文勇，等.融合语义分割和三维点云分析的果园障碍物实时重构方法[].农业工程学报，2024，40(16)：

180-187.doi:10.11975/j.issn.1002-6819.202404129

LINGuichao,XUYao,ZENGWenyong,etal.Real-timereconstructingoforchardobstaclesbyfusingsemanticsegmentation

and3Dpointcloudanalysis[J].TransactionsoftheChineseSocietyofAgriculturalEngineering(TransactionsoftheCSAE),

2024,40(16):180-187.(inChinesewithEnglishabstract)doi:10.11975/j.issn.1002-6819.202404129

推理速度为36顿/s，对果实和树枝的分割MIoU分别为

0引言

66.25%和63.33%。轻量级主干MobileNetV3-large极大

番石榴是一种岭南特色佳果。据广东农村统计年鉴程度上减少了模型计算复杂度，但特征聚合过程中，可

统计，2022年番石榴种植面积为13.90千公，总产

能增加了模型的浮点计算量，导致模型的训练和推理速

量达48.84万t。目前，番石榴采摘基本上靠人工完成，度变慢。朱立学等[9]提出一种基于多尺度串联空洞卷积

利用采摘机器人能降低成本。番石榴果园障碍物相互交组合的UNet模型，试验结果表明，香蕉果串识别速度

织、分布复杂，极大影响采摘实时性，因此研究实时障达41帧/s，交并比为92.57%，该多尺度串联空洞卷积可

碍物识别与重构非常重要[2]。以较好地兼顾物体的局部信息和全局信息。ZHANG等[10]

针对果园障碍物识别问题，目前国内外学者广泛使