融合卷积神经网络与视觉注意机制的苹果幼果高效检测方法.pdfVIP

第 37 卷 第 9 期 农 业 工 程 学 报 Vol.37 No.9 2021 年 5 月 Transactions of the Chinese Society of Agricultural Engineering May 2021 297 融合卷积神经网络与视觉注意机制的苹果幼果高效检测方法 宋怀波，江 梅，王云飞，宋 磊 （1. 西北农林科技大学机械与电子工程学院，杨凌 712100 ； 2. 农业农村部农业物联网重点实验室，杨凌 712100 ； 3. 陕西省农业信息感知与智能服务重点实验室，杨凌 712100 ） 摘 要：果实表型数据高通量、自动获取是果树新品种育种研究的基础，实现幼果精准检测是获取生长数据的关键。幼果 期果实微小且与叶片颜色相近，检测难度大。为了实现自然环境下苹果幼果的高效检测，采用融合挤压激发块 （Squeeze-and-Excitation block, SE block）和非局部块（Non-Local block, NL block ）两种视觉注意机制，提出了一种改进的 YOLOv4 网络模型（YOLOv4-SENL ）。YOLOv4 模型的骨干网络提取高级视觉特征后，利用 SE block 在通道维度整合高级 特征，实现通道信息的加强。在模型改进路径聚合网络（Path Aggregation Network, PAN ）的3 个路径中加入 NL block ，结 合非局部信息与局部信息增强特征。SE block 和NL block 两种视觉注意机制从通道和非局部两个方面重新整合高级特征， 强调特征中的通道信息和长程依赖，提高网络对背景与果实的特征捕捉能力。最后由不同尺寸的特征图实现不同大小幼果 的坐标和类别计算。经过 1 920 幅训练集图像训练，网络在 600 幅测试集上的平均精度为 96.9%，分别比SSD、Faster R-CNN 和 YOLOv4 模型的平均精度提高了 6.9 百分点、1.5 百分点和 0.2 百分点，表明该算法可准确地实现幼果期苹果目标检测。 模型在 480 幅验证集的消融试验结果表明，仅保留YOLOv4-SENL 中的SE block 比YOLOv4 模型精度提高了 3.8 百分点； 仅保留YOLOv4-SENL 中3 个NL block 视觉注意模块比YOLOv4 模型的精度提高了2.7 百分点；将YOLOv4-SENL 中SE block 与NL blocks 相换，比 YOLOv4 模型的精度提高了 4.1 百分点，表明两种视觉注意机制可在增加少量参数的基础上显著提升 网络对苹果幼果的感知能力。该研究结果可为果树育种研究获取果实信息提供参考。 关键词：机器视觉；图像处理；苹果幼果；果实检测；YOLOv4 ；卷积神经网络；视觉注意机制 doi ：10.11975/j.issn.1002-6819.2021.09.034 中图分类号：TP391.4 文献标志码：A 文章编号：1002-6819(2021)-09-0297-07 宋怀波，江梅，王云飞，等. 融合卷积神经网络与视觉注意机制的苹果幼果高效检测方法[J]. 农业工程学报，2021，37(9)： 297-303. doi ：10.11975/j.issn.1002-6819.2021.09.034 Song Huaibo, Jiang Mei, Wang Yunfei, et al. Efficient detection