基于力机制问答系统研究与实现.pdfVIP

table{边框‑合并:;}table,th,td{边框:1px实线#000;}

基于注意力的问答

StephanieDong斯坦福大

学

sx

dong11@stanford.edu

ZiyiLi斯坦福大学

ziyil@stanford.edu

理解（MC）一直是自然语言处理领域的一个重要任务。在本文中，我们探

讨了各种深度神经网络组件及其在的MC任务中的有效性，通过斯坦福问答数

据集（SQUAD）进行评估。

1引言

问答是自然语言处理中的一个重要任务。许多研究工作致力于构建有效的SQuAD阅读理

解系统。SQuAD网页（‑explorer/）展示了多个

系统的性能。表现最佳的模型使用了强化记忆阅读器[1],R‑net[2],和其他形式的注意力

机制。2018年1月，一个模型首次了人类的表现。

在这个项目中，我们探索了各种深度神经网络组件及其在问答任务中的有效性。我们实现

了带有共注意力网络的模型，并尝试添加自注意力层或指针网络。我们还研究了调整不同

超参数的效果。最后，我们分析了结果和不同类型错误。

2数据

SQUAD数据集包括公共训练集和公共