基于自适应融合技术的多模态实体对齐模型.pdfVIP

第４２卷第１期计算机应用研究Ｖｏｌ４２Ｎｏ１

２０２５年１月ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＪａｎ．２０２５

基于自适应融合技术的多模态实体对齐模型

１，２１，２１，２１，２

任楚岚，于振坤，关超，井立志

（１．沈阳化工大学计算机科学与技术学院，沈阳１１０１４２；２．辽宁省化工过程工业智能化技术重点实验室，

沈阳１１０１４２）

摘要：多模态实体对齐旨在识别由结构三元组和与实体相关的图像组成的不同的多模态知识图谱之间的等

价实体。现有的多模态实体对齐的研究主要集中在多模态融合策略，忽略了模态缺失和不同模态难以融合的问

题，未能充分利用多模态信息。为了解决上述问题，提出了ＭＡＣＥＡ模型，该模型使用多模态变分自编码方法主

动补全缺失的模态信息，动态模态融合方法整合不同模态的信息并相互补充，模态间对比学习方法对模态间进

行建模，这些方法有效解决了模态缺失与模态难以融合的问题。相比于当前基线模型，ＭＡＣＥＡ的ｈｉｔｓ＠１和

ＭＲＲ指标分别提升了５．７２％和６．７８％，实验结果表明，该方法可以有效地识别出对齐实体对，具有较高的准确

性和实用性。

关键词：实体对齐；知识图谱；多模态；动态融合；模态缺失

中图分类号：ＴＰ３９１．１文献标志码：Ａ文章编号：１００１３６９５（２０２５）０１０１４０１０００６

ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１３６９５．２０２４．０５．０１８７

Ｍｕｌｔｉｍｏｄａｌｅｎｔｉｔｙａｌｉｇｎｍｅｎｔｍｏｄｅｌｂａｓｅｄｏｎａｄａｐｔｉｖｅｆｕｓｉｏｎｔｅｃｈｎｏｌｏｇｙ

１，２１，２１，２１，２

ＲｅｎＣｈｕｌａｎ，ＹｕＺｈｅｎｋｕｎ，ＧｕａｎＣｈａｏ，ＪｉｎｇＬｉｚｈｉ

（１．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＳｈｅｎｙａｎｇＵｎｉｖｅｒｓｉｔｙｏｆＣｈｅｍｉｃａｌＴｅｃｈｎｏｌｏｇｙ，Ｓｈｅｎｙａｎｇ１１０１４２，Ｃｈｉｎａ；２．ＬｉａｏｎｉｎｇＰｒｏｖｉｎｃｉａｌ

ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＩｎｔｅｌｌｉｇｅｎｔＴｅｃｈｎｏｌｏｇｙｆｏｒＣｈｅｍｉｃａｌＰｒｏｃｅｓｓＩｎｄｕｓｔｒｙ，Ｓｈｅｎｙａｎｇ１１０１４２，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ｍｕｌｔｉｍｏｄａｌｅｎｔｉｔｙａｌｉｇｎｍｅｎｔａｉｍｓｔｏｉｄｅｎｔｉｆｙｅｑｕｉｖａｌｅｎｔｅｎｔｉｔｉｅｓｂｅｔｗｅｅｎｄｉｆｆｅｒｅｎｔｍｕｌｔｉｍｏｄａｌｋｎｏｗｌｅｄｇｅｇｒａｐｈｓ

ｃｏｍｐｏｓｅｄｏｆｓｔｒｕｃｔｕｒｅｄｔｒｉｐｌｅｓａｎｄｉｍａｇｅｓａｓｓｏｃｉａｔｅｄｗｉｔｈｅｎｔｉｔｉｅｓ．Ｔｈｅｅｘｉｓｔｉｎｇｒｅｓｅａｒｃｈｏｎｍｕｌｔｉｍｏｄａｌｅｎｔｉｔｙａｌｉｇｎｍｅｎｔｍａｉｎ

ｌｙｆｏｃｕｓｅｓｏｎｍｕｌｔｉｍｏｄａｌｆｕｓｉｏｎｓｔｒａｔｅｇｉｅｓ，ｉｇｎｏｒｉｎｇｔｈｅｐｒｏｂｌｅｍｓｏｆｍｏｄａｌｉｍｂａｌａｎｃｅａｎｄｄｉｆｆｉｃｕｌｔｙｉｎｉｎｔｅｇｒａｔｉｎｇｄｉｆｆｅｒｅｎｔｍｏ

ｄａｌｉｔｉｅｓ，ａｎｄｆａｉｌｓｔｏｆｕｌｌｙｕｔｉｌｉｚｅｍｕｌｔｉｍｏｄａｌｉｎｆｏｒｍａｔｉｏｎ．Ｔｏｓｏｌｖｅｔｈｅｓｅｐｒｏｂｌｅｍｓ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄｔｈｅＭＡＣＥＡｍｏｄｅｌ，

ｔｈｉｓｍｏｄｅｌｕｓｅｄｔｈｅｍｕｌｔｉｍｏｄａｌｖａｒｉａｔｉｏｎａｌａｕｔｏｅｎｃｏｄｅｒｍｅｔｈｏｄｔｏａｃｔｉｖｅｌｙｃｏｍｐｌｅｔｅｔｈｅｍｉｓｓｉｎｇｍｏｄａｌｉｎｆｏｒｍａｔｉｏｎ，ｔｈｅｄｙ

ｎａｍｉｃｍｏｄａｌｆｕｓｉｏｎｍｅｔｈｏｄｔｏｉｎｔｅｇｒａｔｅａｎｄｃｏｍｐｌｅｍｅｎｔｔｈｅｉｎｆｏｒｍａｔｉｏｎｏｆｄｉｆｆｅｒｅｎｔ