复杂场景下的复杂缺陷检测方法——深度学习算法综述.docxVIP

复杂场景下的复杂缺陷检测方法——深度学习算法综述.docx

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

一、背景知识

随着自动化技术的快速发展,在工业生产中很多需要人工操作的环节逐渐转由机器完成,工业生产自动化也将越来越多的工人们从枯燥乏味的工作中解放出来,让他们去发挥更大的价值。

产品表面缺陷检测是工业生产中的重要环节,是产品质量把控的关键步骤,借助缺陷检测技术可以有效的提高生产质量和效率。但是由于设备及工艺等因素的影响,产品表面的缺陷类型往往五花八门,比如织物生产中方出现的污点、破损,金属产品上的划痕、裂纹、凹凸不平等各种不同类型的缺陷,如下图所示。

单张图片中的缺陷多样且不同缺陷表现形式的也不相同,给缺陷的自动化检测带来了困难。

二、传统算法

传统的表面缺陷检测算法结构通过图像预处理得到便于检测的图像,随后借助统计机器学习方法来提取图像特征,进而实现缺陷检测的目标。

图像预处理通常包括直方图均衡化、滤波去噪、灰度二值化、再次滤波几部分,以得到前后景分离的简单化图像信息;随后利用数学形态学、傅里叶变换、Gabor变换等算法以及机器学习模型完成缺陷的标记与检测。

上述传统算法在某些特定的应用中已经取得了较好的效果,但仍然存在许多不足。例如:图像预处理步骤繁多且具有强烈的针对性,鲁棒性差;多种算法计算量惊人且无法精确的检测缺陷的大小和形状。而深度学习可以直接通过学习数据更新参数,避免了人工设计复杂的算法流程,并且有着极高的鲁棒性和精度。

三、深度学习

目前,基于深度学习的缺陷检测已经应用于金属固件、布匹丝织物、建筑裂纹、钢筋裂纹等多个领域,并取得了不错的成果。下面将结合具体案例介绍其实现方法。

3.1裂纹缺陷检测

建筑材料(如磁瓦等)的外观变化(如裂纹或腐蚀等)与其建筑结构的安全性密不可分,而依靠检察员视觉检查的效果局限性大,相比之下,基于计算机视觉的结构损伤检测更为可靠便捷。

本文使用FasterRCNN实现对图像的准实时处理,其整体架构包括RPN和FastRCNN两部分,如上图所示,RPN和FastRCNN使用相同的CNN网络从图像中提取特征,CNN的主要结构如下表所示。

RPN的作用为提出候选目标,结构示意如图所示,其实现流程包括:

输入图像后,利用CNN网络得到特征图;

将特征图上每一个CONV滑动窗的特征映射为向量并输入Softmax和Regressor层中;

预测缺陷边界框的坐标。

FastRCNN的作用为对图像中的缺陷位置进行定位和分类,其结构流程如上图所示。

从输入图像中提取特征图并获得感兴趣区域(ROI);

在ROI池中,预先计算的兴趣区域覆盖在特征图上,提取固定大小的特征向量;

将所得向量输入全连接层,计算边界框的位置并对框内对象进行分类。

3.2破损缺陷检测

在电气化铁路等工业中,有许多关系着安全的重要固件,这些固件的缺陷检测十分重要。

本文作者利用深度卷积神经网络(DCNNs)结合SSD,Yolo等网络方法构建了一个从粗到细的级联检测网络,包括固件的定位、缺陷检测与分类,其实现流程如下图所示。

紧固件提取

借助在速度和精度方面都表现良好的SSD框架,对图像中的悬臂节点进行定位;

基于Yolo框架的快速本地化架构,对紧固件进行定位。

固件缺陷检测与分类

根据第二阶段对紧固件的检测来判断缺陷;

再次借助DCNN,通过4个卷积层对缺陷进行分类(分类网络结构如下图)。

DCNNs具有良好的鲁棒性和自适应性,有利于检测的快速进行,因此本方法在紧固件的缺陷检测和分类中具有良好的应用前景。

3.3斑点缺陷检测

斑点缺陷检测在纺织、木材、瓷砖等许多行业中都很常见,通常利用其纹理的一致性实现检测的目的。近年来,利用深度学习视觉检测技术对相关产业的表面缺陷检测引起了广泛关注。

作者采用结合图像金字塔层次结构思想和卷积去噪自编码器网络

(CDAE)实现对布匹纹理图像的缺陷检测,其总体结构如下图所示。

训练阶段

图像预处理:光照归一化、高斯金字塔下采样和噪声降噪等操作,避免光照等因素的影响;

Patch提取:提取Patch对每个金字塔层的CDAE网络进行训练;

模型训练:利用训练Patch的重构残差作为像素级缺陷预测的指标;

阈值确定:区分缺陷点与无缺陷点的重要参数。

模型测试阶段:

图像预处理:只需进行光照归一化和高斯金字塔下采样操作即可;

Patch提取:提取Patch用于纹理检测;

残差贴图构造:提取局部接受域在训练后的模型中滑动,以对每一个像素进行预测;

缺陷分割:对每个金字塔层的残差图进行分割;

合成:将多个金字塔级别的信息合成,以提高缺陷检测的鲁棒性和准确性。

文章通过分析和实验已经证明,充分利用无监督学习和多模态结果融合策略,可以提高缺陷检测的鲁棒性和准确性。

3.4划痕缺陷检测

划痕缺陷检测通常用于金属类产品的表面缺陷检测中,随着生活质量的提高,人们对产品的外观完整性与美观程度的要求也越来越高,因此精

文档评论(0)

外卖人-小何 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档