基于特征融合的显著性检测研究.pdfVIP

摘要

显著性检测技术通过模拟人眼视觉注意力机制，快速地识别并分割出显著目

标或区域。随着深度学习的发展，显著性检测受到广泛关注，作为许多计算机视觉

任务的前置处理步骤，该技术显著地提高了计算机处理数据的效率。现有算法在图

像及视频数据处理上已经取得了显著进展，但针对轻量化及点云的相关研究尚有

待深入。

针对视频数据的高性能检测算法已实现高精度需求，但多数研究忽略了实际

应用中的计算资源限制，如何实现模型的性能与检测开销之间的平衡是一个值得

研究的问题。面对逐步兴起的三维点云数据，其显著性检测研究处于萌芽阶段，如

何高效捕获点云数据的独有特征，并据此实施有效的三维显著性检测也是一项紧

迫的挑战。因此，本文主要探究视频和三维点云的显著性检测技术，主要研究内容

如下：

1.提出一种针对计算资源受限时的轻量化视频显著性检测的网络模型。该模

型以轻量化特征提取器MobileNetV3作为骨干网络，捕捉视频连续帧的空间与时

间特征。以空间金字塔池化模块为基础改进多尺度特征学习模块，实现对网络中底

层特征的语义特征提取和多层次特征融合。在解码器中嵌入多个轻量级的快速特

征交互模块，利用帧内空间特征引导帧间时间特征的增强与融合。在6个数据集上

的实验结果表明，与多个先进视频显著性检测模型相比，提出的模型表现出相当的

水平且仅有48.6M的参数量，其48FPS的检测速度适用于实时应用。

2.提出一种基于色彩特征增强的三维点云显著性检测网络模型。首先提取点

云数据中的色彩信息并转换为图像进行数据增强，在此基础上，模型分别对点云和

图像进行特征提取。由于模态之间存在异质性，解码时利用多个跨模态多尺度的特

征增强模块，引导融合过程中图像特征对点云特征的增强。最后，引入了点图像融

合模块，通过像素到点的投影实现点云数据在全局语义特征的增强，并实现最终的

三维点云显著性预测。在PCSOD数据集上的实验结果表明，提出的模型在MAE、

Fm、Em和IoU4个相关指标上均达到第一，其中MAE指标提升约16%。

关键词：显著性检测，特征融合，轻量化，三维点云

ABSTRACT

Salientobjectdetectiontechnology,bysimulatingthehumanvisualattention

mechanism,enablestherapididentificationandsegmentationofprominenttargetsor

regions.Withtheadvancementofdeeplearning,salientobjectdetectionhasgarnered

extensiveattention.Servingasapreprocessingstepfornumerouscomputervisiontasks,

thistechnologyhassignificantlyenhancedtheefficiencyofdataprocessingbycomputers.

Existingalgorithmshavemadesignificantprogressinimageandvideodataprocessing,

buttheresearchonlightweightandpointclouddatahasyettobedeepened.

Althoughhigh-performancedetectionalgorithmsforvideodatahaveachievedthe

requirementsforhighaccuracy,moststudieshaveoverlookedthecomputationalresource

constraintspresentinpracticalapplications.Howtobalancetheperformanceofmodels

withthecostofdetectionrepresentsaquestionworthyofinvestigation.