神问答系统在SQuAD数据集上研究与实现.pdfVIP

神经问答系统

AneeshSatyaPappu

计算机科学系

斯坦福大学

apappu@cs.stanford.edu

RohunSaxena

计算机科学系

斯坦福大学

rohun@cs.stanford.edu

在本文中，我们针对SQuAD数据集上的问答任务进行了研究。我们构建了多种基

于神经网络的模型，并对每种模型的性能进行了比较和对比。我们的最佳模型是

一个深度神经网络，包括双向LSTM编、精确匹配特征提取器、双向注意力流

（BiDAF）和协同注意层、建模层以及更智能的跨度选择过滤器。该模型在开发排

行榜集上取得了74.703的F1分数和63.936的EM分数。

1引言

2016年，斯坦福大学NLP小组发布了斯坦福问答数据集（SQuAD），这是一个新

的阅读理解数据集，包含100,000+个问题。这些问题于百科文章，其中

问题的在文章的某段落中，并且是手工标注的。该数据集的创建动机是

开发用于机器理解的问答模型，以帮助弥合逻辑回归（F1‑51.0%）和人类表现

（F1‑86.8%）之间的差距[1]。我们项目的目标是构建一个神经网络，该网络能够

接受一个问题和上下文，并能够在上下文中识别出问题的，其结果可与人类

表现相媲美。

我们的讨论了问题的具体情况、我们实验的模型以及对结果的讨论和最佳模型的分析。我

们将讨论一些

NeuralQuestionAnswering

AneeshSatyaPappu

DepartmentofComputerScience

StanfordUniversity

apappu@cs.stanford.edu

RohunSaxena

DepartmentofComputerScience

StanfordUniversity

rohun@cs.stanford.edu

InthispaperweapproachthetaskofquestionansweringontheSQuADdataset.We

builtavarietyofneural-networkbasedmodelsandcompareandcontrastthe

performancesofeach.Ourbestperformingmodelwasadeepneuralnetworkconsisting

ofabidirectionalLSTMencoder,anexactmatchfeatureextractor,abidirectional

attentionflow(BiDAF)andcoattentionlayer,amodelinglayer,andasmarterspan

selectionfilter.Thismodelachievedaperformanceof74.703F1and63.936EMonthe

devleaderboardset.

1Introduction

In2016theStanfordNLPgroupreleasedtheStanfordQuestionAnsweringDataset

(SQuAD),anewreadingcomprehensiondatasetconsistingof100,000+questions.

ThesequestionsweresourcedfromWikipediaarticwheretheanswertothe

questionisinapassagefromthearticleandtheanswerwashand-annotated.The

datasetwascreatedwiththemotivationofdevelopingquestionandansweringmodels

forMachineComprehensiontohelpbridgethegapweentheperformanceoflogistic

regression(F1-51.0%)andthehumanperformance(F1-86.8%)[1].Thegoalofour

projectistobuildaneuralnetworkthattakes