探索问答模型中力机制.pdfVIP

探索问答模型中的注意力机制

EthanShen*斯坦福大学计算

机科学系

ezshen@stanford.eduAnav

Sood*

数学系

斯坦福大学

anavsood@stanford.edu

我们研究了双向注意力流模型（BiDAF）框架中的双注意力、自注意力和共注意

力层的性能，以确定通用注意力层在问答任务中的灵活性。鉴于原始双注意力层

更快的训练速度和更好的性能，我们构建了一组微调和修改后的BiDAF模型，以

评估专注于注意力的模型在SQuAD数据集上的效果。我们的最终集成模型在开

发集上达到了77.85的F1分数和68.39的EM分数。

1引言

机器理解（MC），即让机器全面理解和语言的任务，以及问答（QA），即

通过机器理解来回答问题的任务，是复杂的问题，通过深度学习的视角变得可解

决。由于其高度的难度，MC和QA任务经常被用作衡量自然语言处理（NLP）进

展的基准。得益于SQuAD数据集的创建，该数据集包含超过100,000个上下文、

问题、组合，这些任务已经取得了显著进展[1]。

我们在SQuAD上的结果如下组织。在第2节中，我们形式化了问题陈述。在第3

节中，我们介绍了一个基线模型和三个基于注意力的模型，这些模型都在

BiDAF框架内运行[2]。在第4节中，我们介绍了对原始双向注意力模型的轻微修