基于Multi-head Attention和Bi-LSTM的实体关系分类 .pdfVIP

基于Multi-headAttention和Bi-LSTM的实体关系分类

刘峰;高赛;于碧辉;郭放达

【摘要】关系分类是自然语言处理领域的一项重要任务,能够为知识图谱的构建、

问答系统和信息检索等提供技术支持.与传统关系分类方法相比较,基于神经网络和

注意力机制的关系分类模型在各种关系分类任务中都获得了更出色的表现.以往的

模型大多采用单层注意力机制,特征表达相对单一.因此本文在已有研究基础上,引入

多头注意力机制(Multi-headattention),旨在让模型从不同表示空间上获取关于句

子更多层面的信息,提高模型的特征表达能力.同时在现有的词向量和位置向量作为

网络输入的基础上,进一步引入依存句法特征和相对核心谓词依赖特征,其中依存句

法特征包括当前词的依存关系值和所依赖的父节点位置,从而使模型进一步获取更

多的文本句法信息.在SemEval-2010任务8数据集上的实验结果证明,该方法相较

之前的深度学习模型,性能有进一步提高.

【期刊名称】《计算机系统应用》

【年(卷),期】2019(028)006

【总页数】7页(P118-124)

【关键词】关系分类;Bi-LSTM;句法特征;self-attention;multi-headattention

【作者】刘峰;高赛;于碧辉;郭放达

【作者单位】中国科学院大学,北京100049;中国科学院沈阳计算技术研究所,沈

阳110168;中国科学院大学,北京100049;中国科学院沈阳计算技术研究所,沈阳

110168;中国科学院大学,北京100049;中国科学院沈阳计算技术研究所,沈阳

110168;东北大学,沈阳110819

【正文语种】中文

信息抽取是自然语言处理领域的一项重要任务,其目标是从普通的非结构化文本中

抽取易于机器或程序理解的结构化信息,从而将互联网上大量的信息存储成一个庞

大的知识库,提供给用户查看或者为其它自然语言处理任务提供服务.随着信息技术

的高速发展,网络上的信息越来越庞大,信息抽取任务就变得愈发重要.

关系抽取作为信息抽取的一个重要组成部分,它旨在从语义层面发现实体之间的关

系.关系抽取可以使用一组三元组来描述＜Entity1,Relation,Entity2,其中Entity1

和Entity2表示实体,Relation表示两个实体之间的关系.例如“＜e1叶莉＜/e1

是＜e2姚明＜/e2的妻子”.其中“＜e1”和“＜/e1”这两个符号声明第一

个实体为“叶莉”,“＜e2”和“＜/e2”则声明第二个实体为“姚明”.可以看

出,两个实体之间的关系是配偶.在无监督或半监督学习领域,关系抽取是指从没有

任何预先确定的实体和关系类别中提取事实以及关系短语;在监督学习领域,关系抽

取又可以看作一项关系分类任务,是指将包含已知实体对的文本的实体关系分类到

一组已知的关系类别上.本文的研究是在具有既定关系和已知实体对的数据集上进

行关系抽取任务,因此本文的关系抽取任务就是一项关系分类任务.

传统的关系分类方法常用的有两种,基于规则的方法和基于特征向量的方法.基于规

则的方法需要领域专家的介入且需要人工构建大量的匹配规则,可扩展性差.基于特

征的方法需要人工构建大量的特征,费时费力,且人工提取的特征都停留在词法和句

法层面,模型无法很好地捕获文本的语义特征.近年来,随着深度学习的发展,神经网络

模型开始应用在各类关系分类任务上,并取得出色表现.本文在此研究基础上,提出基

于多头注意力机制(multi-headattention)和双向长短时记忆网络(Bi-LSTM)相结

合的实体关系分类模型.本文主要贡献如下：

(1)引入aulti-headAttention.它是self-attention的一种拓展,能够从多个不同维

度计算attention,从而使模型在不同子空间学习特征.

(2)模型的输入在已有的词向量和位置向量的基础上,进一步引入依存句法特征和相

对核心谓词依赖特征作为输入,可以使模型更好地捕获句法信息,进一步提高模型分

类的精度.

1相关研究

目前,已有的关系分类方法包括：基于规则的方法、基于特征向量的方法、基于核

函数的方法和基于深度学习模型的方法.

基于规则的方法需要依赖领域专家,通过构建大量的模式匹配规则进行关系分类,适

合于特定领域的关系分类任务.Aone[1]等通过人工构建匹配规则开发了REES系统,

该系统可识别100多种关系.Humphreys[2]等对文本进行句法分析,