多模态知识图谱表示学习综述.pdfVIP

JournalofComputerApplicationsISSN1001⁃90812024⁃01⁃10

计算机应用,2024,44(1):1-15CODENJYIIDUhttp：//www.joca.cn

文章编号：1001-9081（2024）01-0001-15DOI：10.11772/j.issn.1001-9081.2023050583

多模态知识图谱表示学习综述

1，21*3

王春雷，王肖，刘凯

（1.上海大学人工智能研究院，上海200444；

2.上海人工智能实验室，上海200232；3.上海大学计算机工程与科学学院，上海200444）

（∗通信作者电子邮箱1046252251@qq.com）

摘要：在综合对比传统知识图谱表示学习模型优缺点以及适用任务后，发现传统的单一模态知识图谱无法很好

地表示知识。因此，如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。

同时，详细分析了常用的多模态知识图谱数据集，为相关研究人员提供数据支持。在此基础上，进一步讨论了文本、

图片、视频、音频等多模态融合下的知识图谱表示学习模型，并对其中各种模型进行了总结和比较。最后，总结了多

模态知识图谱表示学习如何改善经典应用，包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效

果，并对未来的研究工作进行了展望。

关键词：多模态知识图谱；表示学习；多模态融合；知识图谱补全；多模态生成

中图分类号：TP182文献标志码：A

Multimodalknowledgegraphrepresentationlearning：areview

WANGChunlei1，2，WANGXiao1*，LIUKai3

（1.InstituteofArtificialIntelligence，ShanghaiUniversity，Shanghai200444，China；

2.ShanghaiArtificialIntelligenceLaboratory，Shanghai200232，China；

3.SchoolofComputerEngineeringandScience，ShanghaiUniversity，Shanghai200444，China）

Abstract:Bycomprehensivelycomparingthemodelsoftraditionalknowledgegraphrepresentationlearning，including

theadvantagesanddisadvantagesandtheapplicabletasks，theanalysisshowsthatthetraditionalsingle-modalknowledge

graphcannotrepresentknowledgewell.Therefore，howtousemultimodaldatasuchastext，imag