基于图注意网络的文本增强知识图谱表示学习.pdfVIP

华东师范大学硕士学位论文 摘 要 摘 要 知识图谱表示学习也称知识图谱嵌入，旨在挖掘知识图谱中涵盖的有效信息 并转变为向量表示,从而更方便地被应用于机器学习和深度学习模型之中，并应 用于检索、推荐、推理等目的。 提高知识图谱表示学习模型 的表达能力主要从两方面入手。1）知识图谱表 示学习模型的改进。在传统知识图谱表示模型的基础上结合卷积神经网络模型、 注意力机制 以及目前备受关注的图神经网络等模型的优势针对模型架构设计进 行优化 。2 ）扩充知识库。由于只通过知识图谱的结构数据无法对 图谱信息进行 完整建模，因而试图通过一些外部的知识库信息来扩充知识图谱，并设计相应的 知识增强模型来充分挖掘知识图谱的 内容信息，从而达到提升性能的目的。 本文主要研究内容包括：1）针对上述两个方面对知识图谱表示学习算法进 行优化，提出了基于图注意网络的文本增强知识图谱表示学习模型 TGAT，并基 于 WN 18RR 和 FB 15K-237 数据集验证了 TGAT 模型在链接预测任务上的性能 表现 ；2 ）为了验证算法在真实场景中的表现，我们结合保险行业的核保任务场 景，构建了保险医疗知识图谱数据集 MI225 ，验证了 TGAT 模型在 MI225 数据 集上的性能表现 ；3 ）为了研究知识表示模型和深度学习模型的有机结合，我们 提出了基于知识表示的深度学习模型框架，并在此基础上针对核保任务提出了基 于知识表示的深度注意力核保模型 KBDAN 。 实验表 明，TGAT 模型在 MR 、MRR 以及 Hits@N 多个指标上较前人模型提 升明显；同时，加入文本增强知识向量表示之后的核保模型的分类预测性能较其 他经典知识表示模型有显著提升；另外，新提出的基于知识表示的深度核保模型 KBDAN 在多分类任务上较多种经典机器学习框架以及深度学习模型有性能优 势。本文系统地实现了对知识图谱的结构信息以及内容信息的知识提取，通过将 预训练知识表示模型应用于深度学习任务中，提升 了下游任务中的分类 以及推荐 效果。 关键词：知识图谱；表示学习；文本增强；图神经网络；注意力机制 ；深度 学习 I 华东师范大学硕士学位论文 ABSTRACT ABSTRACT Knowledge Graph Representation Learning(KGRL), also known as Knowledge Graph Embedding(KGE), aims to mine the valid information contained in the knowledge graph and transform it into vector representation, so that it can be more easily applied to machine learning and deep learning models to achieve knowledge retrieval, knowledge inference and other knowledge application purposes. Improving the expressive ability of the Knowledge Graph Repre