基于机器视觉的水果分级分拣系统关键技术研究 .pdfVIP

基于机器视觉的水果分级分拣系统关键技术

研究

作者：刘福华

来源：《机电信息》2021年第28期

摘要：机器视觉就是利用图像摄取装置等产品代替人眼做测量和判断，当前在水果分级

分拣领域应用极广，已成为工业机器人进行农产品自动化检测的研究热点，但如何对采集到的

自然图像进行高效目标分割和识别检测，成为制约分拣机器人应用的技术难点。现利用机器视

觉测量精度高、结果稳定可靠和非接触性等优点，通过对苹果进行尺寸测量、空间定位，并根

据果形大小、色泽光洁程度和表面缺陷等指标进行特征识别，实现对苹果品质的科学精准分级

和自动分拣，并利用机械手臂自动完成不同等级水果的分拣，实现生产线上的“手眼”协调工

作。

关键词：机器视觉;水果分级分拣;关键技术

引言0

当前对苹果品质的检测工作主要依靠人工完成，但是人工检测会存在误判、效率低和成本

高等问题，且对于后期的水果分拣工作也存在效率和准确率低的问题。机器视觉就是用图像摄

取装置等来代替人眼做一些分析和判断，自动得到一些问题的结果，近年来其以速度快、信息

量大、功能多等特点在水果分级分拣领域得到了广泛应用[1-3]。本研究从水果的分级分拣环节

入手，利用图像分割和深度学习算法，达到了准确高效分拣水果的目的。

水果分级分拣1系统硬件搭建

水果分级分拣系统样机如图1所示，其主要由硬件系统和软件系统构成。

（1）硬件系统包括图像采集模块、机械手模块。图像采集模块用于图像的获取，作为图

像分析的数据源;机械手模块用于对水果进行抓取。

（2）软件系统主要实现苹果的智能识别和自动抓取功能，包括苹果定位模块、苹果分类

识别模块和机械手抓取模块。其中抓取系统的X轴、Y轴运动利用标准滑台实现，Z轴运动利

用滚珠丝杠花键实现，同时还可以实现旋转和旋转移动;利用PLC对电机进行闭环控制，实现

抓取装置准确定位;利用气缸驱动夹具实现抓取功能。

水果分级分拣2系统关键技术研究

基于机器视觉的苹果分拣系统要解决两个关键问题，一是如何通过图像来确定苹果的空间

位置，二是如何通过图像来确定苹果的分类和分级。因此，本项目以苹果为研究对象，从图像

分割算法、相机标定、特征学习和水果分拣等关键技术着手开展研究。

卷积神经网络2.1的分类能力

基于成像分析的传统视觉方法需要对被识别的目标建立数学模型，而苹果的色泽、表面缺

陷、花萼、果梗等特征很难用数学模型进行准确描述，而卷积神经网络不需要建立特征模型，

只需利用一个带标签的图像集作为训练集，对卷积神经网络开展训练，模型会自动学习样本中

不同等级苹果的特征，这样利用训练好的卷积神经网络，可以很容易对不同特征的苹果进行分

类。本研究采用深度学习算法，针对采样训练需要海量数据的缺点，选取同一苹果不同的侧

面，使得模型可以更好地学习目标属性特征，克服不同角度下分类不准确的问题，从而有效提

升模型的整体性能、泛化能力和学习能力。基于卷积神经网络的深度学习网络模型如图2所

示，包括模型训阶段练和模型检测阶段。

2.2Mask-RCNN图像语义分割的准确性

图像分割是机械手精确测量和识别定位的关键环节，传统的图像分割方法对图像纹理、明

暗、背景和复杂度等因素非常敏感，很难确保图像分割质量。Mask-RCNN网络可以自动提取

目标特征信息，将图像上每一个像素进行分类，即每一个像素均具有属性类别，因此属于苹果

像素就被归类为苹果，可避免图像噪声、复杂背景的影响。本研究为保证视觉测量的精确性和

识别的准确性，采用Mask-RCNN网络的图像分割方法，并在Caffe深度学习框架下，将最新

的Mask-RCNN算法与ResNet特征提取网络相结合进行图像分割训练。

Mask-RCNN分割算法结构和流程图如图3所示。对目标图像，首先输入到卷积神经网络

ResNet中进行特征提取得到feafuremap，并对这个feafuremap通过目标估计网络RPN提取可

能存在的目标区域ROI。然后ROI经过ROIAlign层被映射成固定维数的特征向量，其中两个

分支通过全连接层进行分类和包围框的回归，另一分支经过全卷积进行采样得到分割图。输出

包含3个分支：目标分类、目标包围框坐标和目标二值掩码。其中分类和回归部分均由基于区

域的目标检测网络Faster-RCNN完成，目标的像素级分割由全卷积神