使用双向力网络阅读理解模型研究.pdfVIP

使用双向注意力网络的阅读理解

NeelmaniSingh

斯坦福大学

neelmani@stanford.edu

PratikKumar

斯坦福大学

pratikk@stanford.edu

阅读理解，即根据给定的上下文回答问题，是机器学习中的一个重要任务。这项

任务被证明是的，因为它涉及两个独立信息之间的交互建模，即上下文和查

询。注意力系统在阅读理解中取得了成功，其中根据查询关注上下文的一小部分。

我们使用了由Seo等人[1],双向注意力流（BiDAF）模型的架构，构建了多

层架构来解决这个问题。我们的模型在斯坦福问答数据集（SQuAD）上达到了

72.925%的F1分数和62.75%的确切匹配率。

1引言

阅读理解是指处理文本、理解其含义，并将其与读者已有的知识相结合的能力。

将机器学习应用于阅读理解任务，也称为机器阅读理解，变得越来越流行。从研

究的角度来看，这是一个有趣的任务，因为它了一种衡量系统‘理解’文本

程度的方法。从实际应用的角度来看，这个任务对于构建能够理解任何文本片段

（如等）的系统非常有用。设计用于端到端机器阅读理解的模型

必须生成上下文和查询之间的关系，并能够从上下文中挑选出回答查询的。

在本文中，我们描述了我们对机器理解问题的方法。我们的基线模型[5]包括

GRU上下文嵌入层、基本注意力机制和全连接的ReLU网络。我们的架构灵感来

源于双向注意力流（BiDAF）[1]，并在基线模型的基础上构建。我们

ReadingComprehensionusingBi-Directional

AttentionNetwork

NeelmaniSingh

StanfordUniversity

neelmani@stanford.edu

PratikKumar

StanfordUniversity

pratikk@stanford.edu

Readingcomprehension,answeringaqueryaboutagivencontext,isanimportanttask

inmachinelearning.Thistaskisproventobedifficultasitinvolvesmodelling

interactionsweentwoseparatepiecesofinformationi.e.thecontextandthequery.

Attentionsystemhasbeensuccessfulforreadingcomprehensionwhereasmallportion

ofthecontextisfocusedbasedonthequery.Wehaveusedthearchitecturefrom

BidirectionalAttentionFlow(BiDAF)model,whichwasintroducedbySeoetal.[1],to

buildamulti-layerarchitectureforthisproblem.OurmodelachievedF1scoreof

72.925%andEMof62.75%onStanfordQuestionAnsweringDataset(SQuAD).

1Introduction

Readingcomprehensionistheabilitytoprocesstext,understanditsmeaning,andto

integrateitwithwhatthereaderalreadyknows.Applyingmachinelearningtothe

readingcomprehensiontask,alsoknownasmachinecomprehension,hasbecome

popular.Fromaresearchperspective,thisisaninterestingtaskbecauseitprovidesa

measureofh