多模态融合目标检测X异常检测论文.docxVIP

多模态融合目标检测X异常检测论文

一.摘要

在复杂多变的工业生产与智能监控场景中，目标检测与异常检测作为计算机视觉的核心任务，对系统安全性与效率至关重要。传统目标检测技术难以应对光照变化、遮挡干扰等动态环境挑战，而异常检测方法在处理小样本、高维度异常事件时存在鲁棒性不足的问题。为解决此类问题，本研究提出一种基于多模态融合的目标检测与异常检测协同框架，通过融合视觉、热红外及声音等多源模态信息，提升检测系统在复杂环境下的感知能力与泛化性能。具体而言，采用深度特征金字塔网络（FPN）提取视觉图像的多尺度特征，结合时空增强卷积网络（ST-ResNet）处理热红外序列数据，并引入频域特征提取模块对声音信号进行建模，通过注意力机制动态加权不同模态的贡献，最终在特征融合层进行联合决策。实验以智能工厂设备监控和城市交通异常事件识别为应用场景，在COCO与OTEX数据集上进行验证。结果表明，与单一模态及传统融合方法相比，所提方法在目标检测mAP指标上提升12.3%，异常检测AUC指标提高18.7%，且在光照剧烈变化与多目标密集场景下展现出更优的稳定性。研究证实，多模态信息的协同增强能够有效弥补单一模态的局限性，为复杂场景下的智能感知系统设计提供了新的技术路径。结论指出，多模态融合策略是提升目标检测与异常检测性能的关键，其跨模态特征交互机制具有普适性应用价值。

二.关键词

多模态融合；目标检测；异常检