基于注意力机制的LSTM的语义关系抽取-计算机应用研究.PDFVIP

第３５卷第５期 计 算 机 应 用 研 究 Ｖｏｌ３５Ｎｏ５ ２０１８年５月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｍａｙ２０１８ 基于注意力机制的ＬＳＴＭ的语义关系抽取  王　红，史金钏 ，张志伟 （中国民航大学计算机科学与技术学院，天津３００３００） 摘　要：目前关系抽取方法中，传统深度学习方法存在长距离依赖问题，并且未考虑模型输入与输出的相关性。 针对以上问题，提出了一种将ＬＳＴＭ（ｌｏｎｇｓｈｏｒｔｔｅｒｍｍｅｍｏｒｙ）模型与注意力机制相结合的关系抽取方法。将文本 信息向量化，提取文本局部特征，再将文本局部特征导入双向ＬＳＴＭ模型中，通过注意力机制对ＬＳＴＭ模型的输 入与输出之间的相关性进行重要度计算，根据重要度获取文本整体特征；最后将局部特征和整体特征进行特征 融合，通过分类器输出分类结果。在 ＳｅｍＥｖａｌ２０１０ｔａｓｋ８语料库上的实验结果表明，该方法的准确率和稳定性 较传统深度学习方法有进一步提高，为自动问答、信息检索以及本体学习等领域提供了方法支持。 关键词：文本信息；语义关系；关系抽取；ＬＳＴＭ；注意力机制 中图分类号：ＴＰ３９１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１８）０５１４１７０４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１８．０５．０２９ ＴｅｘｔｓｅｍａｎｔｉｃｒｅｌａｔｉｏｎｅｘｔｒａｃｔｉｏｎｏｆＬＳＴＭｂａｓｅｄｏｎａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ  ＷａｎｇＨｏｎｇ，ＳｈｉＪｉｎｃｈｕａｎ，ＺｈａｎｇＺｈｉｗｅｉ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＣｉｖｉｌＡｖｉａｔｉｏｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，Ｔｉａｎｊｉｎ３００３００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｔｈｅｍｅｔｈｏｄｓｏｆｒｅｌａｔｉｏｎｅｘｔｒａｃｔｉｏｎ，ｔｈｅｔｒａｄｉｔｉｏｎａｌｄｅｅｐｌｅａｒｎｉｎｇｍｅｔｈｏｄｈａｓｔｈｅｐｒｏｂｌｅｍｏｆｌｏｎｇｄｉｓｔａｎｃｅｄｅｐｅｎ ｄｅｎｃｅａｎｄｄｏｅｓｎｏｔｃｏｎｓｉｄｅｒｔｈｅｃｏｒｒｅｌａｔｉｏｎｂｅｔｗｅｅｎｉｎｐｕｔａｎｄｏｕｔｐｕｔｏｆｔｈｅｍｏｄｅｌ．Ｔｈｉｓｐａｐｅｒｐｕｔｆｏｒｗａｒｄａｎｅｗｒｅｌａｔｉｏｎｅｘ ｔｒａｃｔｉｏｎｍｏｄｅｌ，ｗｈｉｃｈｃｏｍｂｉｎｉｎｇＬＳＴＭａｎｄａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ．Ｆｉｒｓｔｌｙ，ｔｈｅｍｏｄｅｌｅｍｂｅｄｄｅｄｔｈｅｔｅｘｔｉｎｆｏｒｍａｔｉｏｎａｎｄｔｈｅｎｏｂ ｔａｉｎｅｄｔｈｅｌｏｃａｌｆｅａｔｕｒｅ．Ｓｅｃｏｎｄｌｙ，ｉｔｉｎｔｒｏｄｕｃｅｄｔｈｅｌｏｃａｌｆｅａｔｕｒｅｉｎｔｏｔｈｅｂｉｄｉｒｅｃｔｉｏｎａｌＬＳＴＭｍｏｄｅｌ，ａｎｄｕｓｅｄｔｈｅａｔｔｅｎｔｉｏｎ ｍｅｃｈａｎｉｓｍｔｏｃａｌｃｕｌａｔｅｔｈｅｉｍｐｏｒｔａｎｃｅｐｒｏｂａｂｉｌｉｔｙｂｅｔｗｅｅｎｔｈｅｉｎｐｕｔａｎｄｏｕｔｐｕｔｏｆｔｈｅＬＳＴＭｍｏｄｅｌｔｏｏｂｔａｉｎｔｈｅｇｌｏｂａｌｆｅａ ｔｕｒｅ．Ｆｉｎａｌｌｙ，ｉｔｆｕｓｅｄｔｈｅｌｏｃａｌｆｅａｔｕｒｅａｎｄｔｈｅｇｌｏｂａｌｆｅａｔｕｒｅａｎｄｏｂｔａｉｎｅｄｔｈｅｒｅｓｕｌｔｏｆｒｅｌａｔｉｏｎｅｘｔｒａｃｔｉｏｎｂｙｃｌａｓｓｉｆｉｅｒ．Ｅｘｐｅｒｉ ｍｅｎｔｓｗｅｒｅｃｏｎｄｕｃｔｅｄｏｎｔｈｅＳｅｍＥｖａｌ２０１０ｔａｓｋ８ｃｏｒｐｕｓ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅａｃｃｕｒａｃｙａｎｄｓｔａｂｉｌｉｔｙｏｆｔｈｅｍｅｔｈｏｄｈａｖｅ ｂｅｅｎｆｕｒｔｈｅｒｉｍｐｒｏｖｅｄ，ｗｈｉｃｈｐ