以图像为主的多模态感知与多源融合技术发展及应用综述.pdfVIP

测控技术

·１０·２０２３４２６装备无损检测与健康监测技术专刊（二）

年第卷第期

以图像为主的多模态感知与多源融合技术发展

及应用综述

１，２１１１１１１

何泽，谯灵俊，郭隆强，常珊，刘圳康，周辉，王洪金

１．４１００８２

（湖南大学电气与信息工程学院，湖南长沙；

２．机器人视觉感知与控制技术国家工程研究中心，湖南长沙４１００８２）

摘要：不同模态的表现方式不同，描述目标的角度也会不同。多模态感知与多源融合技术是将两种或两

种以上的模态组合起来融合不同传感器不同平台收集到的数据特征信息兼顾不同图像的优势在

，、、，，

遥感监测军事安防自动驾驶等领域有着广泛的运用介绍了热成像高光谱成像偏振成像合成孔

、、。、、、

径雷达激光雷达等多模态感知技术总结了不同成像方式的特点与联系简述了多源

（ＳＡＲ）、（ＬｉＤＡＲ），，

融合相关概念及其技术发展历程，重点分析了不同模态下图像融合案例，在此基础上归纳多模态感知和

多源融合技术的发展趋势，最后基于融合算法、系统整体性、评价指标总结出进一步发展方向。

关键词多模态感知多源融合跨模态热成像ＳＡＲＬｉＤＡＲ

：；；；；；

中图分类号：文献标志码：文章编号：（）

ＴＰ３９１Ａ１０００－８８２９２０２３０６－００１０－１２

ｄｏｉ：１０．１９７０８／ｊ．ｃｋｊｓ．２０２３．０１．２０１

ＳｕｒｖｅｙｏｎＤｅｖｅｌｏｐｍｅｎｔａｎｄＡｐｐｌｉｃａｔｉｏｎｏｆＩｍａｇｅＢａｓｅｄＭｕｌｔｉＭｏｄａｌ

ＰｅｒｃｅｐｔｉｏｎａｎｄＭｕｌｔｉＳｏｕｒｃｅＦｕｓｉｏｎＴｅｃｈｎｏｌｏｇｙ

１牞２１１１１

ＨＥＹｕｎｚｅ牞ＱＩＡＯＬｉｎｇｊｕｎ牞ＧＵＯＬｏｎｇｑｉａｎｇ牞ＣＨＡＮＧＳｈａｎ牞ＬＩＵＺｈｅｎｋａｎｇ牞

１１

ＺＨＯＵＨｕｉ牞ＷＡＮＧＨｏｎｇｊｉｎ

牗１．ＣｏｌｌｅｇｅｏｆＥｌｅｃｔｒｉｃａｌａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ牞ＨｕｎａｎＵｎｉｖｅｒｓｉｔｙ牞Ｃｈａｎｇｓｈａ４１００８２牞Ｃｈｉｎａ牷

２．ＮａｔｉｏｎａｌＥｎｇｉｎｅｅｒｉｎｇＲｅｓｅａｒｃｈＣｅｎｔｅｒｆｏｒＲｏｂｏｔＶｉｓｉｏｎＰｅｒｃｅｐｔｉｏｎａｎｄＣｏｎｔｒｏｌＴｅｃｈｎｏｌｏｇｙ牞Ｃｈａｎｇｓｈａ４１００８２牞Ｃｈｉｎａ