机器视觉在粮油生产中的应用.docxVIP

目标和概述

传统的生产线对人工判断监测依赖程度高，人工作业存在疲劳以及评判标准的不一。对企业生产商来说无法实现有效质量监管，大批量的次品流入消费者市场必然会引起客诉，进而影响品牌方生产企业的形象。

以粮油生产为例，目前行业对于包装袋的缝线识别，大多工厂仅依靠人工目检完成，自动化程度低。在这种情况下，博观粮油机器视觉解决方案的应用落地，采用视觉大模型的低代码算法训练平台能够快速实现流水线所需碎片化算法训练，提高检测精度，减轻粮油工厂的人力成本，从生产环节入手创造更多价值，助力工厂降本增效，推动粮食加工企业向规模化生产和集约化经营方向转变，实现智慧升级，综合来看具有较高的场景价值性。

博观粮油机器视觉解决方案，借助机器视觉质检平台，以网络覆盖智能制造工厂为切入点，从行业生产线视觉外观缺陷检测和字符信息识别两大方面入手进行功能提升，整体视觉方案除应用于粮油生产以外，未来还可应用于3C电子、新能源等行业。该方案在不改变现有工厂生产制造流水线的前提下，定制化提供机器视觉硬件外设环境，依靠独立开发的深度学习算法检测平台MVIP和视觉业务软件BreVision，智能化实现视觉检测代替人工检测的需求，达到工厂降本增效和柔性生产的目标。

方案介绍

2.1.核心技术

2.1.1.OCR字符检测识别

OCR检测获取的面粉袋喷印侧图像，如图1所示，可识别生产日期、合格信检息测等，并可判断字符的完整性。

OCR检测

△端到端识别算法

该项目采用了端到端的字符识别技术，以保证整个功能的高效、准确。区别于传统的识别算法，如图2所示，端到端识别算法无需文字定位、定点、识别多个步骤，仅需输入原始图像即可输出识别结果，在节约耗时的同时最大程度挖掘可用信息。

端到端识别算法

△?图像增强修复技术

在工业视觉领域，图像的清晰度一直是一个关键问题，受限于应用场景、工业摄像头的成像质量，获取的初始图像往往不会非常清晰。为了应对这样的问题，该项目加入了基于深度学习的图像增强与修复技术，在识别算法的开端加入该模块，如图3所示，从根本上解决字符不清晰或字符有污损的问题。

图像增强与修复

△?完整性判断

在实际应用中，经常面临的另一个问题是字符不完整和缺位数问题，为此该项目引入完整性判断模块，根据字符的分布、深层图像信息，确定送入的字符块是否完整。若出现字符明显残缺，则判断为异常样本，进行告警。

总之，OCR算法在工业场景需要保持高稳定、高精度和可复制性，便于支持工业环境中不同产线的要求，比如全天候光线变化、褶皱导致字体变形、喷码在画面任意位置、字体格式、不同大小等情况，在为企业降本增效的同时，做到智能化设备本身的成本控制。

2.1.2.缝线完整性缺陷检测识别

缝线检测

缝线检测通过配置ROI区域，获取面粉袋的注意力区域，通过异常抓拍的识别模型判断是否为正常拍摄的图像，最后通过缝线异常判断模型，检测其缝线是否完整，如图4所示。

△?滑动ROI

在ROI配置过程中，由于面粉袋位置发生移动和扭曲，导致配置的ROI区域并不准确，出现大量无效的背景影响判别效果。为解决此问题，在实际使用过程中，使用滑动ROI，算法会根据面粉袋的边缘位置得到较为准确的封口区域，如图5所示。

滑动ROI

△?异常拍摄判断

由于生产现场的复杂环境以及相机拍摄的不确定性，实际情况中会时而出现异常拍摄的数据，例如未拍摄到面粉袋、拍摄的面粉袋不完全、拍摄到工作人员等等。这些异常数据会对检测算法产生干扰，从而影响最终效果，所以算法需要先判断是否为正常拍摄图像，剔除异常拍摄图片后可大大提升算法精度。如图6所示，分别为正常拍摄、拍摄部分袋子和设备空拍的图像。在实际使用时，加入异常拍摄判断，存在空拍时进行算法剔除。

异常拍摄图像

△?缝线异常判断

通过上述流程之后，图片被送入最终的缝线检测模型，判别封口是否缝上，保证面粉在运输过程中，不发生洒、漏等问题。此过程中会出现跳线、弯曲、褶皱、小口、过曝、过暗等各种形态的样本，如图7所示。多种形态的样本会严重影响判别的精度。

各类样本

对于缝线异常判断，精度要求较高，负样本形态各异，并且难以收集，同时褶皱、弯曲、光线环境差都使得缝线位置判断困难，而多种多样的负样本类型需要模型去学习更多的特征，但负样本难以收集，数量较少。针对这些不同类型的情况，该项目设计了不同的数据增广、网络算子和损失函数，并通过实验表明，可以有效解决上述各类问题。

2.1.3.在线检测

△?整体流程

MVIP深度学习机器视觉检测平台，首先通过海量的媒体数据+独创的大规模多模态算法模型，使得大模型从海量视频数据中实现自监督学习通识知识，结合Few-ShotLearning等小样本学习算法，本平台可在几百张样本图片下达到下游常见任务90+%的精度。无损高速地传输给服务器端。在服务器端我们将进行强大