利用依存句法分析和关键词共现的机器阅读理解模型.pdfVIP

第４０卷第２期计算机应用与软件Ｖｏｌ４０Ｎｏ．２

２０２３年２月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＦｅｂ．２０２３

利用依存句法分析和关键词共现的机器阅读理解模型



赵耀白宇蔡东风樊睿文

（沈阳航空航天大学人机智能研究中心辽宁沈阳１１０１３６）

摘要片段抽取式阅读理解是机器阅读理解典型任务之一，根据所给的篇章回答相关问题得到答案片段。

在处理长文本如长问题或者长答案时，在无关词的噪声干扰和词之间长距离的关联跨度影响下，往往模糊了关注

度的问题，一方面，依存句法分析通过识别词之间的语义关系，另一方面，增强句子的主干文本结构信息可以提升

模型对于长文本阅读能力。该文寻找篇章中相关问题答案的主要方式是找到问题与篇章的关联特征，两者最关

联的特征就是关键词，通过建立的关键词指导模型，实现在自注意力机制以获得正确答案的开始和结束位置。实

验结果表明，在预训练语言模型的基础上将依存句法分析信息和关键词共现特征结合能够提升阅读理解的效果，

在评测语料上Ｆ１值达到８８．２４。

关键词依存句法分析关键词共现预训练模型机器阅读理解

中图分类号ＴＰ３文献标志码ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０２３．０２．０３５

ＭＡＣＨＩＮＥＲＥＡＤＩＮＧＣＯＭＰＲＥＨＥＮＳＩＯＮＭＯＤＥＬＢＡＳＥＤＯＮ

ＤＥＰＥＮＤＥＮＣＹＰＡＲＳＩＮＧＡＮＤＫＥＹＷＯＲＤＣＯＯＣＣＵＲＲＥＮＣＥ



ＺｈａｏＹａｏＢａｉＹｕＣａｉＤｏｎｇｆｅｎｇＦａｎＲｕｉｗｅｎ

（ＲｅｓｅａｒｃｈＣｅｎｔｅｒｏｆＨｕｍａｎＣｏｍｐｕｔｅｒＩｎｔｅｌｌｉｇｅｎｃｅ，ＳｈｅｎｙａｎｇＡｅｒｏｓｐａｃｅＵｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ１１０１３６，Ｌｉａｏｎｉｎｇ，Ｃｈｉｎａ）

ＡｂｓｔｒａｃｔＳｅｇｍｅｎｔｅｘｔｒａｃｔｉｏｎｒｅａｄｉｎｇｃｏｍｐｒｅｈｅｎｓｉｏｎｉｓｏｎｅｏｆｔｈｅｔｙｐｉｃａｌｔａｓｋｓ，ａｎｓｗｅｒｉｎｇｔｈｅｒｅｌｅｖａｎｔｑｕｅｓｔｉｏｎｓ

ａｃｃｏｒｄｉｎｇｔｏｔｈｅｇｉｖｅｎｔｅｘｔａｎｄｇｅｔｔｈｅａｎｓｗｅｒｆｒａｇｍｅｎｔｓ．Ｗｈｅｎｄｅａｌｉｎｇｗｉｔｈｌｏｎｇｔｅｘｔｓｓｕｃｈａｓｌｏｎｇｑｕｅｓｔｉｏｎｓｏｒｌｏｎｇ

ａｎｓｗｅｒｓ，ｔｈｅｍｏｄｅｌｂｌｕｒｓｔｈｅａｔｔｅｎｔｉｏｎｄｕｅｔｏｔｈｅｎｏｉｓｅｉｎｔｅｒｆｅｒｅｎｃｅｏｆｕｎｒｅｌａｔｅｄｗｏｒｄｓａｎｄｔｈｅｌｏｎｇｄｉｓｔａｎｃｅｃｏｒｒｅｌａｔｉｏｎ

ｓｐａｎｂｅｔｗｅｅｎｗｏｒｄｓ．Ｔｈｅｄｅｐｅｎｄｅｎｃｙｓｙｎｔａｘａｎａｌｙｚｅｄｔｈｅｓｅｍａｎｔｉｃｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎｌｏｎｇｔｅｘｔｗｏｒｄｓ，ｅｎｈａｎｃｅｄｔｈｅ

ｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｍａｉｎｓｔｒｕｃｔｕｒｅｏｆｓｅｎｔｅｎｃｅｓ，ａｎｄｉｍｐｒｏｖｅｄｔｈｅｒｅａｄｉｎｇａｂｉｌｉｔｙｏｆｔｈｅｍｏｄｅｌ．Ｔｈｅｍａｉｎｗａｙｔｏｆｉｎｄｔｈｅ

ａｎｓｗｅｒｓｔｏｔｈｅｒｅｌａｔｅｄｑｕｅｓｔｉｏｎｓｉｎｔｈｅｔｅｘｔｗａｓｔｏｆｉｎｄｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｈｅｑｕｅｓｔｉｏｎａｎｄｔｈｅｔｅｘｔ．Ｔｈｅｍｏｓｔｒｅｌｅｖａｎｔ

ｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｈｅｔｗｏｗｅｒｅｔｈｅｋｅｙｗｏｒｄｓ．Ｔｈｒｏｕｇｈｔｈｅｋｅｙｗｏｒｄｇｕｉｄａｎｃｅｍｏｄｅｌｅｓｔａｂｌｉｓｈｅｄ，ｔｈｅｓｔａｒｔａｎｄｅｎｄ

ｐｏｓｉｔｉｏｎｏｆｔｈｅｃｏｒｒｅｃｔａｎｓｗｅｒｗｅｒｅｏｂｔａｉｎｅｄｉｎｔｈｅａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｏｎｔｈｅｂａｓｉｓ

ｏｆｔｈｅｔｒａｉｎｉｎｇｌａｎｇｕａｇｅｍｏｄｅｌ，ｔｈｅｃｏｍｂｉｎａｔｉｏｎｏｆｄｅｐｅｎｄｅｎｃｙｐａｒｓｉｎｇｉｎｆｏｒｍａｔｉｏｎａｎｄｋｅｙｗｏｒｄｃｏｏｃｃｕｒｒｅｎｃｅｆｅａｔｕｒ