融合任务知识的多模态知识图谱补全.pdfVIP

软件学报

ISSN

1000-9825,

CODEN

RUXUEWE-mail:

jos@

2025,36(4):1590−1603

[doi:

10.13328/ki.jos.007213]

[CSTR:

32375.14.jos.007213]

©中国科学院软件研究所版权所有.Tel:

+86-10

*

融合任务知识的多模态知识图谱补全

陈

强,

张

栋,

李寿山,

周国栋

(苏州大学

计算机科学与技术学院,

江苏

苏州

215006)

通信作者:

张栋,

E-mail:

dzhang@

摘要:

知识图谱补全任务旨在根据已有的事实三元组(头实体、关系、尾实体)来挖掘知识图谱中缺失的事实三

元组.

现有的研究工作主要致力于利用知识图谱中的结构信息来进行知识图谱补全任务.

然而,

这些工作忽略了知

识图谱中蕴含的其他模态的信息也可能对知识图谱补全有帮助.

并且,

由于基于特定任务的知识通常没有被注入

通用的预训练模型,

因而如何在抽取模态信息的过程中融合任务的相关知识变得至关重要.

此外,

因为不同模态特

征对于知识图谱补全的贡献不一样,

所以如何有效地保留有用的多模态信息也是一大挑战.

为了解决上述问题,

提

出一种融合任务知识的多模态知识图谱补全方法.

利用在当前任务上微调过的多模态编码器,

来获取不同模态下

的实体向量表示.

并且,

通过一个基于循环神经网络的模态融合过滤模块,

去除与任务无关的多模态特征.

最后,

利

用同构图网络表征并更新所有特征,

从而有效地完成多模态知识图谱补全任务.

实验结果表明,

所提出的方法能有

效地抽取不同模态的信息,

并且能够通过进一步的多模态过滤融合来增强实体的表征能力,

进而提高多模态知识

图谱补全任务的性能.

关键词:

知识图谱补全;

多模态;

知识融合;

多模态融合

中图法分类号:

TP18

中文引用格式:

陈强,

张栋,

李寿山,

周国栋.

融合任务知识的多模态知识图谱补全.

软件学报,

2025,

36(4):

1590–1603.

http://www.

/1000-9825/7213.htm

英文引用格式:

Chen

Q,

Zhang

D,

Li

SS,

Zhou

GD.

Task

Knowledge

Fusion

for

Multimodal

Knowledge

Graph

Completion.

Ruan

Jian

Xue

Bao/Journal

of

Software,

2025,

36(4):

1590–1603

(in

Chinese).

/1000-9825/7213.htm

TaskKnowledgeFusionforMultimodalKnowledgeGraphCompletion

CHEN

Qiang,

ZHANG

Dong,

LI

Shou-Shan,

ZHOU

Guo-Dong

(School

of

Computer

Science

and

Technology,

Soochow

University,

Suzhou

215006,

China)

Abstract:

The

task

of

completing

knowledge

graphs

aims

to

reveal

the

missing

fact

triples

within

the

knowledge

graph

based

on

existing

fact

triples

(head

entity,

relation,

tail

entity).

Existing

research

primarily

focuses

on

utilizing

the

structural

information

within

the

knowledge

graph.

However,

these

efforts

overlook

that

oth