基于深度学习的关系抽取研究.pdfVIP

摘要

基于深度学习的关系抽取研究

人工智能的蓬勃发展不仅带来了技术的革新，同时也使得人们每天接触到大

量的数据，如何分析和利用这些数据并将相关信息反馈给用户成为一大难题。这

些数据中有很大一部分是以文本形式存在的非结构化数据，作为有效处理文本数

据的自然语言处理技术，借助机器学习和神经网络等方法进一步理解和分析文本

数据，从而提取到有价值的信息。经过近20年的迅速发展与沉淀，自然语言处

理的相关技术研究已日趋成熟，而信息抽取技术在该领域中处于基础性且关键性

的地位，针对信息抽取的相关研究早已成为该领域的研究热点。

本课题正是在这样的研究背景下，针对关系抽取任务进行了专门的研究。借

助深度学习的兴起，本文采用近两年处于研究热点的预训练语言模型，在关系抽

取任务的数据集上对模型进行微调。本文借用了对比学习的框架，分别利用有监

督和少样本关系抽取的数据集生成对应的关系对比样本，并利用交叉熵损失进行

训练。本文创新性地提出了融合上下文和实体信息的方法，将模型学习到的表层

特征和语义特征融合到一起，提升了关系抽取模型的性能。此外，本文提出了自

适应利用预训练模型权重参数的策略，更好的利用了模型中高层的语义信息，进

一步提升了关系抽取模型的效果。

本文对提出的方法进行了大量的消融实验，并与传统的CNN模型进行对比，

实验结果表明，充分的学习到关系语句的上下文信息和实体位置及实体类型的特

征信息对于关系抽取模型的效果有一定的提升，有监督任务F1值提升7.87%，

少样本任务F1值提升7.52%。针对预训练模型各层参数的重要性程度进行分析，

逐个选取BERT模型的各个隐藏层输出作为关系表示进行实验。结果表明预训练

模型的高层的语义信息特征对于关系抽取任务有很重要的影响，且表明本文提出

的自适应利用预训练模型权重参数的方法可以促进关系抽取效果的提升。

关键词：

关系抽取，预训练模型，对比学习，BERT

Abstract

Researchonrelationextractionbasedondeeplearning

Thevigorousdevelopmentofartificialintelligencenotonlybringsabout

technologicalinnovation,butalsomakespeoplecomeintocontactwithalargeamount

ofinformationeveryday.Howtoanalyzeandutilizethesedataandfeedbackrelevant

informationtousershasbecomeabigproblem.Alargepartofthesedataisunstructured

dataintheformoftext.Naturallanguageprocessingtechnology,whichiseffectivein

processingtextualinformation,canrelyonmachinelearningandneuralnetwork

technologiestofurtherunderstandandanalyzetextualinformation,soastoextract

valuableinformation.Afternearly20yearsofrapiddevelopmentandprecipitation,the

researchofnaturallanguageprocessinghasbecomeincreasinglymature,and

informationextractiontechnologyisinafundamentalandcriticalpositioninthisfield,

andtheresearchrelatedtoinformatione