面向人脸识别的多模态研究方法综述.pdfVIP

JournalofComputerApplicationsISSN1001⁃90812025⁃05⁃10

计算机应用,2025,45(5):1645-1657CODENJYIIDUhttp://www.joca.cn

文章编号：1001-9081（2025）05-1645-13DOI:10.11772/j.issn.1001-9081.2024050568

面向人脸识别的多模态研究方法综述

11，2，3*11，2，3

杨雅莉，黎英，章育涛，宋佩华

（1.南宁师范大学物流管理与工程学院，南宁530100；2.广西高校智慧物流技术重点实验室（南宁师范大学），南宁530100；

3.广西人机交互与智能决策重点实验室（南宁师范大学），南宁530100）

（∗通信作者电子邮箱2313166529@qq.com）

摘要：多模态人脸识别技术能充分利用人脸特征或其他生物特征提高识别的鲁棒性和安全性，具有广泛的实际

应用价值。由于目前的多模态人脸识别研究存在模态差距和模态信息难以高效融合等问题，因此根据多种信息模态

和应用目的对现有的多模态人脸识别方法进行分类综述，以梳理研究中存在的问题，并探讨未来的发展方向。首先，

将基于多源信息融合的多模态人脸识别研究按照数据处理的不同阶段分为传感器级、特征级、评分级和决策级，并归

纳现有方法的优势、局限性和适用场景；其次，将信息增强多模态人脸识别研究按照被增强模态的不同分为2D-3D信

息增强和3D-2D信息增强，并总结现有方法的优缺点；再次，归纳总结基于其他生物特征和面向反欺诈的多模态人脸

识别方法，并简要介绍常用的多模态人脸识别数据集相关信息；最后，给出多模态人脸识别研究中存在的一些严峻挑

战，并展望未来的研究方向。

关键词：多模态人脸识别；特征融合；信息增强；生物特征；反欺诈

中图分类号：TP391文献标志码：A

Reviewofmulti-modalresearchmethodsforfacerecognition

11，2，3*11，2，3

YANGYali，LIYing，ZHANGYutao，SONGPeihua

（1.SchoolofLogisticsManagementandEngineering，NanningNormalUniversity，NanningGuangxi530100，China；

2.GuangxiKeyLaboratoryofIntelligentLogisticsTechnology（NanningNormalUniversity），NanningGuangxi530100，China；

3.GuangxiKeyLabofHuman-machineInteractionandIntelligentDecision（NanningNormalUniversity），NanningGuangxi530100，China）

A