基于双向GRU神经网络和双层注意力机制的中文文本中人物关系抽取研究.pdfVIP

第３５卷第１１期　　　 计算机应用与软件 Ｖｏｌ３５Ｎｏ．１１ ２０１８年１１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｎｏｖ．２０１８ 基于双向ＧＲＵ神经网络和双层注意力机制的 中文文本中人物关系抽取研究 张兰霞　胡文心 （华东师范大学　上海２０００６２） 摘　要　　实体关系抽取是知识抽取的重要组成部分。与传统模式识别的方法相比，深度学习的方法在关系抽 取任务中表现得更为突出。目前关于中文的关系抽取技术的研究主要是基于核函数和远程监督的方法，而且数 据集中的噪音数据对实验结果带来的负面影响不可忽视。提出一种基于双向ＧＲＵ神经网络和双层注意力机制 的中文关系抽取模型。结合中文语言的结构特点，采用字向量的形式进行输入，针对遗忘性问题，采用双向的 ＧＲＵ神经网络对输入向量进行融合。从一个句子中提取出字级别的特征信息，并通过句子级别的注意力机制来 提取句子特征。利用远程监督的方法在新闻网站上抽取约８０００条数据进行验证。实验结果表明，双层注意力 机制的神经网络模型可以充分利用句子的所有特征信息，准确率和召回率相较于未加入注意力机制的神经网络 模型都有显著提升。 关键词　　中文关系抽取　双向ＧＲＵ神经网络　注意力机制　字向量 中图分类号　ＴＰ１８３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１８．１１．０２１ ＣＨＡＲＡＣＴＥＲＲＥＬＡＴＩＯＮＥＸＴＲＡＣＴＩＯＮＩＮＣＨＩＮＥＳＥＴＥＸＴＢＡＳＥＤＯＮ ＢＩＤＩＲＥＣＴＩＯＮＡＬＧＲＵＮＥＵＲＡＬＮＥＴＷＯＲＫＡＮＤＤＵＡＬＡＴＴＥＮＴＩＯＮＭＥＣＨＡＮＩＳＭ  ＺｈａｎｇＬａｎｘｉａ　ＨｕＷｅｎｘｉｎ （ＥａｓｔＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０００６２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｅｎｔｉｔｙｒｅｌａｔｉｏｎｓｈｉｐｅｘｔｒａｃｔｉｏｎｉｓａｎｉｍｐｏｒｔａｎｔｐａｒｔｏｆｋｎｏｗｌｅｄｇｅｅｘｔｒａｃｔｉｏｎ．Ｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｔｒａｄｉｔｉｏｎａｌ ｍｅｔｈｏｄｓ，ｔｈｅｄｅｅｐｌｅａｒｎｉｎｇｉｓｍｏｒｅｐｒｏｍｉｎｅｎｔｉｎｒｅｌａｔｉｏｎｅｘｔｒａｃｔｉｏｎｔａｓｋｓ．ＴｈｅｃｕｒｒｅｎｔｒｅｓｅａｒｃｈｏｎＣｈｉｎｅｓｅｒｅｌａｔｉｏｎ ｅｘｔｒａｃｔｉｏｎｔｅｃｈｎｉｑｕｅｓｉｓｍａｉｎｌｙｂａｓｅｄｏｎｋｅｒｎｅｌｆｕｎｃｔｉｏｎｓａｎｄｒｅｍｏｔｅｓｕｐｅｒｖｉｓｉｏｎｍｅｔｈｏｄｓ．Ｍｏｒｅｏｖｅｒ，ｔｈｅｎｅｇａｔｉｖｅ ｉｍｐａｃｔｏｆｎｏｉｓｅｄａｔａｉｎｄａｔａｓｅｔｓｏｎｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｃａｎｎｏｔｂｅｉｇｎｏｒｅｄ．ＴｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａＣｈｉｎｅｓｅｒｅｌａｔｉｏｎ ｅｘｔｒａｃｔｉｏｎｍｏｄｅｌｂａｓｅｄｏｎｂｉｄｉｒｅｃｔｉｏｎａｌＧＲＵｎｅｕｒａｌｎｅｔｗｏｒｋａｎｄｄｕａｌａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ．Ｉｎｃｏｍｂｉｎａｔｉｏｎｗｉｔｈｔｈｅ ｓｔｒｕｃｔｕｒａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｈｅＣｈｉｎｅｓｅｌａｎｇｕａｇｅ，ｔｈｅｉｎｐｕｔｗａｓｉｎｔｈｅｆｏｒｍｏｆａｗｏｒｄｖｅｃｔｏｒ．Ｂｅｃａｕｓｅｏｆｔｈｅｆｏｒｇｅｔｔｉｎｇ ｐｒｏｂｌｅｍ，ｗｅｕｓｅｄａｂｉｄｉｒｅｃｔｉｏｎａｌＧＲＵｎｅｕｒａｌｎｅｔｗｏｒｋｔｏｃｏｍｂｉｎｅｉｎｐｕｔｖｅｃｔｏｒｓ．Ｗｅｅｘｔｒａｃｔｅｄｗｏｒｄｌｅｖｅｌｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎｆｒｏｍｔｈｅｓｅｎｔｅｎｃｅａｎｄｔｈｅｓｅｎｔｅｎｃｅｆｅａｔｕｒｅｆｒｏｍｓｅｎｔｅｎｃｅｌｅｖｅｌａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ．Ｗｅｕｓｅｄｒｅｍｏｔｅ ｓｕｐｅｒｖｉｓｉｏｎｍｅｔｈｏｄｓｔｏｅｘｔｒａｃｔａｂｏｕｔ８０００ｄａｔａｏｎｔｈｅｎｅｗｓｗｅｂｓｉｔｅｆｏｒｖｅｒｉｆｉｃａｔｉｏｎ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔ