使用多种力机制实现问答系统探索与实践.pdfVIP

使用各种注意力机制进行问答

孙英豪

斯坦福大学

加利福尼亚州斯坦福市

94305

sunmo@stanford.edu

在CS224N2018年冬季的最终项目中，实现了几种编、注意力机制和输出层

的变化，用于端到端的问题回答系统。双向注意力流（BiDAF）在斯坦福问题回

答数据集上优于其他模型，单个BiDAF模型在开发集上的F1得分为74.37%，测试

集上的F1得分为74.72%，而集成模型在测试集上的F1得分达到76.02%。

1引言

阅读理解是人类日常任务之一，也是沟通的基本方式之一。机器阅读理解（

MRC）研究旨在构建能够理解语言的智能系统，该系统在许多实际场景中有

着广泛的应用。评估MRC系统的一个关键外部任务是通过问题回答（QA），这是

一个需要自然语言理解和现实世界知识的任务。

问题回答任务可以以不同的方式表述，例如，在MCTest[1]每个任务是一个由上

下文、问题和候选组成的元组。目标是从给定的候选中识别出正确。

在本项目中，为斯坦福问题回答数据集（SQuAD）[2],实现我们的模型，其

中每个任务是一个由⟨,⟩组成的元组。