基于结构信息和层次化图网络的知识图谱补全研究.pdfVIP

摘要

摘要

知识图谱的相关工作是目前人工智能领域备受瞩目的研究方向，尤其是在以

GPT-4、BERT等为代表的大语言模型出来以后，知识图谱作为结构化、可推理的

知识库为人工智能模型理解世界提供了坚实的基础。然而目前主流的知识图谱往

往都有着知识缺失、结构不完整等问题，这些都极大限制了知识图谱的实际应用

范围。为了解决以上问题，知识图谱补全研究受到较大关注，即通过深度学习的

方式自动为现有知识图谱补全缺失的实体和关系。本文将从层次化图网络和图结

构学习两方面对知识图谱补全进行分析，探讨了知识图谱中实体和关系间的层次

化注意力机制以及图结构信息缺失的问题，并通过大量充分的实验验证了所提出

模型的有效性。本文的主要内容分为以下几点：

1.提出了基于层次化图注意力网络的知识图谱补全模型。为了对知识图谱

的异构性问题进行高效建模分析，本文通过构建层次化图注意力网络模型，实现

从实体级注意力和关系级注意力分别对异构实体和关系特征进行建模，并从邻域

节点进行特征加权聚合从而实现实体和关系特征的表示学习。然后，为了促进实

体和关系的特征交互，还提出了基于二维随机重塑操作的解码器模块，该模块通

过随机重塑实体和关系的拼接特征从而促进语义特征的传播和融合。最后，本文

提出了实体和关系的重要性估计策略，对不同实体和关系的重要程度进行全局估

计，进一步提升对实体和关系的特征学习能力。本章节提出的模型和模块已经在

FB15K-237、WN18RR等常用数据集上取得了较好效果，且均通过消融实验验证

了各自的有效性。

2.提出了基于图结构增强的迭代学习知识图谱补全方案。现有研究表明人为

构建的图网络结构可能并不直接适用于下游任务，这是因为构建过程中往往存在

图结构缺失的问题。针对这种情况，本文提出对图结构进行增强学习，即从多个视

角计算节点之间相似性从而对邻接矩阵图结构进行增强补充，并结合层次化图网

络进行迭代学习促进下游补全任务。此外，为缓解图结构学习的稠密问题和计算

开销，本文提出了阈值筛选和Top-K选择算法对图结构学习过程进行稀疏化和优

化操作，有效降低了图结构学习过程的计算开销。通过将图结构增强和知识图谱

补全任务进行迭代学习，知识图谱补全效果进一步提升，和当前主流模型对比在

FB15k-237和WN18RR数据集上MRR指标分别取得了2.9%和0.6%的性能提升。

关键词：知识图谱，图表示学习，图神经网络，层次化注意力机制，图结构学习

I

ABSTRACT

ABSTRACT

Researchrelatedtoknowledgegraphsiscurrentlyahighlyregardedfocalpointin

thefieldofartificialintelligence,particularlyfollowingtheemergenceoflargelanguage

modelssuchasGPT-4andBERT.Knowledgegraph,asastructuredandinferableknowl-

edgebase,providesasolidfoundationforartificialintelligencemodelstounderstandthe

world.However,mainstreamknowledgegraphsoftensufferfromissueslikeknowledge

gapsandincompletestructures,whichgreatlyrestrictthepracticalapplicationofknowl-

edgegraphs.Toaddresstheseissues,researchonknowledgegraphcompletionhasre-

ceivedsignificantattention,aimingtoautomaticallyfillinmissingentitiesandrelation-

ships