基于Transformer的透明物体图像语义分割.pdfVIP

第４３卷第４期南京邮电大学学报（自然科学版）Ｖｏｌ．４３Ｎｏ．４

２０２３年８月ＪｏｕｒｎａｌｏｆＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）Ａｕｇ２０２３

ｄｏｉ：１０．１４１３２／ｊ．ｃｎｋｉ．１６７３⁃５４３９．２０２３．０４．０１１

基于Ｔｒａｎｓｆｏｒｍｅｒ的透明物体图像语义分割

朱松豪，孙冬轩，宋杰

(南京邮电大学自动化学院、人工智能学院，江苏南京２１００２３)

摘要：由于周围物体和背景区域都能通过透明物体进行透视，同时透明物体也会对周围物体和背景

区域进行反射，因此需要借助Ｔｒａｎｓｆｏｒｍｅｒ这种高效的编解码结构，尤其需要借助Ｔｒａｎｓｆｏｒｍｅｒ结构

中的注意力机制，以便更好地解决透明物体特殊材质的像素级分割任务。由于卷积神经网络通常

拥有较小的感受野，因而容易忽略图像的全局特征，而Ｔｒａｎｓｆｏｒｍｅｒ可以很好地弥补这一缺点。因

此，文中提出一种融合卷积神经网络与Ｔｒａｎｓｆｏｒｍｅｒ的透明物体图像语义分割网络，并设计了一个

多头自注意力与卷积结合的注意力机制模块。该网络通过构建基于编解码的特征提取网络和金字

塔结构特征融合网络，有效结合上下文信息，并融合多尺度特征，对透明物体轮廓区域做出更为准

确的判断。Ｔｒａｎｓ１０Ｋ⁃Ｖ２数据集的实验结果表明，与其他语义分割方法相比，文中所提网络模型有

效地提高了语义分割的平均交并比及准确率。

关键词：图像语义分割；Ｔｒａｎｓｆｏｒｍｅｒ；注意力机制；特征融合

中图分类号：ＴＰ３９１．４１文献标志码：Ａ文章编号：１６７３⁃５４３９（２０２３）０４⁃００８３⁃０１０

ＳｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎｏｆｔｒａｎｓｐａｒｅｎｔｏｂｊｅｃｔｓｖｉａＴｒａｎｓｆｏｒｍｅｒ

ＺＨＵＳｏｎｇｈａｏ，ＳＵＮＤｏｎｇｘｕａｎ，ＳＯＮＧＪｉｅ

(ＣｏｌｌｅｇｅｏｆＡｕｔｏｍａｔｉｏｎ＆ＣｏｌｌｅｇｅｏｆＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｎａｎｊｉｎｇ２１００２３，Ｃｈｉｎａ)

Ａｂｓｔｒａｃｔ：Ｓｉｎｃｅｓｕｒｒｏｕｎｄｉｎｇｏｂｊｅｃｔｓａｎｄｂａｃｋｇｒｏｕｎｄａｒｅａｃａｎｂｅｐｅｒｓｐｅｃｔｉｖｅｔｈｒｏｕｇｈｔｈｅｔｒａｎｓｐａｒｅｎｔ

ｏｂｊｅｃｔｓ，ａｎｄｔｒａｎｓｐａｒｅｎｔｏｂｊｅｃｔｓｃａｎａｌｓｏｒｅｆｌｅｃｔｔｈｅｍ，ｉｔｉｓｎｅｃｅｓｓａｒｙｔｏｕｓｅｔｈｅｅｆｆｉｃｉｅｎｔｅｎｃｏｄｉｎｇ⁃

ｄｅｃｏｄｉｎｇｓｔｒｕｃｔｕｒｅ，Ｔｒａｎｓｆｏｒｍｅｒ，ａｎｄｉｎｐａｒｔｉｃｕｌａｒｔｈｅａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍｗｉｔｈｉｎｉｔ，ｔｏｂｅｔｔｅｒｔａｃｋｌｅｔｈｅ

ｔａｓｋｏｆｓｅｇｍｅｎｔｉｎｇｔｒａｎｓｐａｒｅｎｔｏｂｊｅｃｔｓａｔｐｉｘｅｌｌｅｖｅｌ．Ｓｉｎｃｅｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｕｓｕａｌｌｙｈａｖｅａ

ｓｍａｌｌｒｅｃｅｐｔｉｖｅｆｉｅｌｄ，ｉｔｉｓｅａｓｙｔｏｉｇｎｏｒｅｔｈｅｇｌｏｂａｌｆｅａｔｕｒｅｓｏｆａｎｉｍａｇｅ，ｗｈｉｌｅＴｒａｎｓｆｏｒｍｅｒｃａｎ

ｃｏｍｐｅｎｓａｔｅｔｈｅｄｉｓａｄｖａｎｔａｇｅ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｔｒａｎｓｐａｒｅｎｔｏｂ