力机制对问答系统性能影响研究.pdfVIP

注意力机制对问答性能的影响

BenParks

斯坦福大学计算机科学系

bparks@stanford.edu

JosephPaggi

斯坦福大学计算机科学系

jpaggi@stanford.edu

我们开发了一种机器学习，用于回答关于一段短文本的问题。我们实现了一

种双向注意力流模型的变体，并能够在单个模型性能上达到原始模型（开发集2%

内的表现，F1得分为75.84%，EM得分为66.23%）。我们发现，虽然大部分性能

提升来自于增加额外的RNN层，但问题到上下文的注意力机制也带来了额外的改

进。对问题到上下文注意力机制的分析显示，它通常关注正确附近的、

出现在问题中的以及句子的主语。

1引言

在这个项目中，我们开发了一种机器学习算法，用于回答类似于SAT性阅读

测试中可能出现的问题，尽管要简单得多。具体来说，我们处理的是问答任务，

即给定一个短篇幅和相关问题，要求在文本中找到问题的。问答是一个

的问题，因为它需要同时考虑问题和，这两者都是以非结构化的自然语

言表达的。如何编码问题与上下文段落之间的依赖关系是问答中最主要的。

对于许多自然语言建模任务，最先进的模型是循环神经网络（RNNs）[1],一类模

型，它们接受有序的输入序列，并通过一个“隐藏状态”来建模数据，该状

态在整个序列中向前传递并在遇到每个新的数据点时更新。理论上，这些模型可

以通过在隐藏状态中编码所有关于问题和的相关信息来捕捉问题和之间

的依赖关系，并直接回答问题。

TheImpactofAttentionMechanismsonQuestion

AnsweringPerformance

BenParks

DepartmentofComputerScienceStanfordUniversity

bparks@stanford.edu

JosephPaggi

DepartmentofComputerScienceStanfordUniversity

jpaggi@stanford.edu

Wedevelopedamachinelearningagentthatanswersquestionsaboutashortpassage

oftext.WeimplementedavariationoftheBi-DirectionalAttentionFlowmodeland

wereabletoachievesinglemodelperformancewithin2%oftheoriginalmodel(devset

75.84%F1and66.23%EM).Wefoundthat,whilemostoftheperformance

improvementscamefromaddingadditionalRNNlayers,thequestion-to-context

attentionledtoadditionalimprovements.Analysisofthequestion-to-contextattention

showedthatitgenerallyattendedtowordsnearthecorrectanswer,thatappearinthe

question,andthatarethesubjectoftheirsentence.

1Introduction

Inthisproject,wedevelopamachinelearningalgorithmtoanswerquestionssimilarto,

albeitmuchsimplerthan,thoseyoumightexpecttoseeinan