SQuAD GOA：指导目标高级学习系统.pdfVIP

SQuADGOALS指导目标的高级学习系统

DerekJ.Phillips计算机科学

系斯坦福大学斯坦福，CA

94305djp42

@stanford.edu

在这项工作中，我们提出了一种基于神经网络的问题回答模型，该模型受到了该

领域进展的启发，特别是双向注意力流模型。我们通过将结束位置的预

测条件化在开始位置的预测上，来指导目标，从而构建了一个能够有效学习

回答问题的高级系统。我们简单的可微分条件化添加显著提高了模型的性能。我

们的最终模型在测试集上的F1得分为75.764%，EM得分为65.96%，这足以证明

我们简单条件化技术带来的改进，每项指标提高了近2%。我们希望在未来的工作

中与其他条件化方法的详细比较。

1引言

对的追求通常集中在与人类的互动上，而这本身依赖于沟通能力。这一

必要性加上近年来深度学习的进步，促使了近年来自然语言处理领域的进一步研

究，研究重点包括机器人[3],语音识别[1],和问题回答[4],，这是本工作的重

点。机器问题回答任务类似于人类的性阅读测试，尽管方式更为简化。目标

是识别出上下文段落中对应给定问题的部分。

为了促进该领域的研究，斯坦福大学的自然语言处理在2016年创建并发布

了一个包含上下文、问题和众包的数据集，称为斯坦福问答数据集（

SQuAD[4]）。该数据集为研究人员了一个集中化的环境，以便他们比较和评

估模型，并且近年来已经看到了大量的活动。我们在第2节中介绍了一些表现优

异的有趣模型。

SQuADGOALSGuidedObjectiveAdvancedLearning

System

DerekJ.Phillips

DepartmentofComputerScience

StanfordUniversity

Stanford,CA94305

djp42@stanford.edu

Inthisworkwepresentaneural-networkbasedquestionansweringmodelthatis

inspiredbyrecentadvancesinthefield,notablythebidirectionalattentionflowmodel.

Weguidetheobjectivebyconditioningtheendoftheanswerspanonthepredictionfor

thestartoftheanswer,resultinginanadvancedsystemcapableoflearningtoanswer

questionswell.Oursimpleadditionofdifferentiableconditioningresultsinsignificant

improvementinthemodel’sperformance.OurfinalmodelattainsanF1scoreof

75.764%andanEMscoreof65.96%onthetestset,whichissufficienttodemonstrate

theimprovementprovidedbyoursimpleconditioningtechnique,whichisjustunder

2%foreachmetric.Wehopetopresentathoroughcomparisonwithotherconditioning

methodsinfuturework.

1Introduction

Thequestforartificialintelligenceisusuallycenteredaroundinteractionwithhumans,

whichitselfreliesontheabilitytocommunicate.Thisnecessitycoupledwithrecent

advancesindeep-learninghavemotivatedfurtherstudiesinnaturallanguage

processinginrecentyear