结合双向力流与力池化指针网络提升SQuAD挑战性能.pdfVIP

结合双向注意力流和注意力池化指针网

络在SQuAD中实现高性能

阿努普・曼amanjuna@stanford.edu

KikoIlagan

ilaganf@stanford.edu

机器阅读理解是构建通用问答系统的重要任务。斯坦福问答数据集（SQuAD）挑

战赛是机器阅读理解的一个热门。在本文中，我们提出了一种深度递归神经

网络架构，该架构利用双向注意力流和指针网络，在SQuAD中实现了

74.605的F1分数和64.219的EM分数。

1引言

1.1任务定义

SQuAD的目标是创建一个模型，该模型能够在给定一段上下文和关于该上下文

的问题时，正确构成的连续字符串的起始词和结束词。

1.2背景/先前工作

原始的论文发表于2016年，并自此激发了大量关于阅读理解任务的研

究进展。截至2018年3月，尤其是混合AoA集成阅读器等模型正在迅速接近人

类的表现[1]。

我们的模型特别借鉴并扩展了SQuAD任务中的三个主要研究方向：注意力机制、

通过字符级嵌入管理词汇表外（OOV），以及基于起始词预测的概率性结束

词选择条件。

注