基于叠层循环神经网络的语义关系分类模型.PDFVIP

———————————————————————————————————————————————— 基于叠层循环神经网络的语义关系分类模型 作者 郝志峰，陈培辉，蔡瑞初，温雯，王丽娟 机构 广东工业大学 计算机学院；佛山科学技术学院 数学与大数据学院 DOI 10.19734/j.issn.1001-3695.2018.06.0461 基金项目 NSFC-广东联合基金资助项目（U1501254）；广东省自然科学基金资助（2014A030306004， 2014A030308008）；广东省科技计划项目（2015B010108006，2015B010131015）；广东特支 计划资助项目（2015TQ01X140）；广州市珠江科技新星资助项目（201610010101）；广州市 科技计划项目（201604016075） 预排期卷 《计算机应用研究》2020 年第37 卷第1 期 摘要 基于循环神经网络结合句法结构的方法被广泛运用于关系分类，利用神经网络对输入的编码 信息自动获取特征并实现关系分类；然而，目前已有的方法主要是基于单一特定句法结构的 模型，而特定句法结构的模型不能够迁移到其他句法结构类型上。针对该问题，提出一种融 合多句法结构的叠层循环神经网络模型。该叠层循环神经网络分为两层进行网络构建，首先 在序列层进行实体预训练，通过Bi-LSTM-CRF 融合Attention 机制，提高模型对文本序列上 实体信息的关注度，从而获取更加准确的实体特征信息，促进关系层阶段更好地分类；其次 在关系层，将 Bi-Tree -LSTM 嵌套在序列层之上，并将序列层的隐状态与实体特征信息传入 关系层，利用共享参数对三种不同的句法结构进行加权学习，通过端到端的模型训练并实现 语义关系分类。实验结果表明，该模型在SemEval-2010 Task8 语料库上的marco-F1 值达到 了85.9%，并进一步地提升了模型的鲁棒性。 关键词 叠层循环神经网络；多句法结构；Bi-Tree -LSTM；注意力机制；关系分类 作者简介 郝志峰（1968- ），男，江苏苏州人，教授，主要研究方向为机器学习 人工智能 ､ （mazfhao@）；陈培辉，男，硕士研究生，主要研究方向为自然语言处理 机器学 ､ 习；蔡瑞初，男，教授，主要研究方向为因果关系 机器学习 数据挖掘；温雯，女，副教授， ､ ､ 主要研究方向为文本挖掘 机器学习；王丽娟，女，副教授，主要研究方向为高维数据聚类分 ､ 析． 中图分类号 TP183 基于叠层循环神经网络的语义关系分类模型 ———————————————————————————————————————————————— 访问地址 /article/02-2020-01-022.html 投稿日期 2018 年6 月20 日 修回日期 2018 年8 月10 日 发布日期 2018 年11 月5 日 引用格式 郝志峰, 陈培辉, 蔡瑞初, 温雯, 王丽娟. 基于叠层循环神经网络的语义关系分类模型[J/OL]. 2020, 37(1). [2018-11-05]. /article/02-2020-01-022.html. 37 1