使用深度双向力流FusionNet进行问答系统研究.pdfVIP

使用深度双向注意力流和FusionNet进行问答

SilvianaMariaCiureaIlicus,MichalWegrzynski

计算机科学系

斯坦福大学

斯坦福，加利福

尼亚州

{smci,michalw}atstanford.edu

在本文中，我们重新实现了FusionNet，并将其与应用于斯坦福问答数据集

（SQuAD）的双向注意流模型的深度版本进行了比较。这两种更简单和更复杂

的架构都利用了某种形式的LSTM跳过连接。我们观察到，在训练初期阶段，跳

过连接对模型性能的提到了主要作用。两种模型在SQuAD上的F1得分达到了

74.0‑74.2%。

1引言

机器理解是自然语言处理中的一个关键问题，因为它要求算法能够在多个语义层

面上理解一段文本。用于开发和测试机器理解的一个常见任务是问答。我们研究

的问题变体是由Rajpurkar等人在2016年介绍斯坦福问答数据集时描述的形

式，它包括向算法一段文本（上下文）、一个问题以及作为的小段连续

文本的。该模型根据其预测与由三个人类标注者标记的之间的

程度进行评估。近年来，深度学习架构的进步将机器理解模型的性能推向了

接近人类基线的水平，但这一研究领域仍然非常活跃；我们在此模型上应用的最

近发布的架构仍在等待ICLR2018的。

2数据集

斯坦福问答数据集（SQuAD）（Rajpurkar等，2016）包含超过100,000个问题‑对，这些

问题来自500+百科文章。数据集的划分是

QuestionAnsweringwithDeepBidirectional

AttentionFlowandFusionNet

SilvianaMariaCiureaIlicus,MichalWegrzynski

DepartmentofComputerScience

StanfordUniversity

Stanford,CA

{smci,michalw}atstanford.edu

Inthispaper,were-implementFusionNetandcompareitwithadeepversionofthe

BidirectionalAttentionFlowmodel,asappliedtotheStanfordQuestionandAnswer

Dataset(SQuAD).Boththesimplerandthemoresophisticatedarchitectureleverage

someformofLSTMskipconnections.Weobservethatskipconnectionsareresponsible

formostofthemodels’performanceintheearlytrainingstages.Bothmodelsachieve

74.0-74.2%F1onSQuAD.

1Introduction

Machinecomprehensionisacriticalprobleminnaturallanguageprocessing,asit

requiresanalgorithmtoexhibitanunderstandingofapassageoftextonmultiple

semanticlevels.Acommontaskusedtodevelopandtestmachinecomprehensionis

questionanswering.Thevariationoftheproblemthatweworkedonisastandard

formulationasdescribedbyRajpurkaretal.intheir2016introductiontotheStanford

QuestionandAnswerDatase