探索神问答技术及其在SQuAD数据集上应用.pdfVIP

探索神经问答技术

加布里埃尔・比安科尼(bianconi@stanford.edu)什・阿格拉瓦尔(mahesha@stanford.edu)

2018年冬季

1

我们介绍了一系列神经问答技术，并在斯坦福问答数据集（SQuAD）上评估了我

们的结果。我们探索、实现并评估了一些最先进模型和技术的有效性。特别是，

我们讨论了双向注意力流（BiDAF）如何改进简单的注意力层。通过引入更好的循

环架构和更智能的跨度选择算法，我们提高了系统的建模能力，从而改善了测试

时的性能。最后，我们通过利用字符级嵌入和一些手工设计的特征扩展了输入特

征。该模型在任务中取得了具有竞争力的F1和EM分数。

2引言与文献综述

自2016年斯坦福问答数据集（SQuAD）[1]发布以来，大规模神经问答系统受到了

关注。SQuAD是一个基于百科文章的阅读理解数据集，由众包工作者构

建。与之前的大多数数据集相比，它显著更大，包含来自500多篇百科文章的

超过10万对问题和。由于标注数据量大，这个数据集对于监督学习问题特别

有趣。

更正式地说，SQuAD数据集上的阅读理解任务如下：模型被给予一个输入上下文

（来自百科的一段文字）和一个问题，并应输出代表的上下文片段。请

注意，总是明确包含在上下文中，但可能具有不同的长度。

自该