SQuAD数据集上问答模型性能提升研究.pdfVIP

SQuAD数据集的问答

ElizahYao

符号系统系

斯坦福大学

斯坦福大学，加利福尼亚

州94305

lizyao@stanford.edu

MatejKosec

AeronauticsandAstronautics

StanfordUniversity

Stanford,CA94305

mkosec@stanford.edu

本项目报告概述了几次尝试，旨在提高斯坦福问答数据库（SQuAD）上问题回答

模型的性能。主要工作集中在通过更好的跨度搜索改进跨度选择、使用L2正则化

减少过拟合，以及实现双向注意力流（BiDAF）以使上下文查询感知。这些实验中

的每一个都显著提高了模型性能。总体而言，F1和EM性能分别提高了15.4和

15.1%。

1引言

斯坦福问答数据集（SQuAD）是一个阅读理解数据集，包含上下文段落、问题和

正确。上下文段落来自百科，与这些段落相关的问题和则是通过亚

马逊众包平台AmazonMechanicalTurk收集的。SQuAD数据集的一个重要特点

是，大约10万个问题的直接来自相关的上下文段落。这意味着SQuAD系统不

需要生成文本–它们只需选择段落中回答问题的“文本片段”即可。

QAontheSQuADdataset

ElizahYao

DepartmentofSymbolicSystems

StanfordUniversity

Stanford,CA94305

lizyao@stanford.edu

MatejKosec

AeronauticsandAstronautics

StanfordUniversity

Stanford,CA94305

mkosec@stanford.edu

Thisprojectreportoutlinesseveralattemptstoimprovetheperformanceofaquestion

andansweringmodelonontheStanfordQuestionAnsweringDatabase(SQuAD).

Primarily,theworkfocusesonimprovedspanselectionusingterspansearch,using

L2regularizationtoreduceover-fitting,andimplementingbidirectionalattentionflow

(BiDAF)tomakethecontextquery-aware.Eachoneoftheseexperimentsyieldeda

noticeableimprovementinthemodelperformance.IntotaltheF1andEMperformance

wereimprovedby15.4and15.1%,respectively.

1Introduction

TheStanfordQuestionAnsweringDataset(SQuAD)isareadingcomprehensiondataset

comprisedofcontextparagraphs,questions,andcorrectanswers.Thecontext

paragraphswerepulledfromWikipediaandthequestionsandanswersassociatedwith

theseparagraphswerecrowdsourcedfromAmazonMechanicalTurk.Animportant

featureoftheSQuADdatasetisthattheanswerstothe100Korsoquestionscome

directlyfromassociatedcontextparagraphs.ThismeansthatSQuADsystemsdonot

needtogenerateanswertext–theysimplyselectthe“span”oftextinthepa