基于协同力编码答案指针网络问答系统研究.pdfVIP

使用协同注意力编码和指针网络的问题回答

YinghaoXu

电气工程系

斯坦福大学

ericx@stanford.edu

机器理解（MC）和问答（QA）是自然语言处理（NLP）中的一项任务，近年

来随着斯坦福问答数据集（SQuAD）[3]的发布，引起了越来越多的。本文提

出了一种用于SQuAD上QA问题的端到端神经架构，采用了Xiong等人的共注意编

[1],、Wang等人的指针网络[2],以及智能跨度的概念。该架构包括一个

共注意编，将段落和问题词编码为相互感知的表示，以及一个指针

器，编码的表示并预测范围。通过智能跨度技术，最佳单模型在

SQuAD开发集上的F1得分为71.42，EM得分为59.62。

1引言

在我们的设置中，问答任务是指给定一个问题/查询和一个上下文/段落，我们需

要使用来自给定段落的摘录来预测。这类问题在现实世界中有广泛的应用，

如客户服务、知识库查询等。SQuAD数据集正是为此类问题而构建，已经提

出了许多深度神经网络模型来解决它。该数据集由从百科文章收集的10万个

上下文‑问题‑三元组组成。目标是构建一个模型来预测摘录的起始和结

束位置，因为摘录必须来自原始上下文。

与许多其他NLP问题一样，成功模型的关键是具有一些注意力机制，以将问题集

中在上下文的特定部分，反之亦然。对于SQuAD，已经提出了许多高性能的注

意力机制，我们的模型采用了Xiong等人Coattention编[1]。指针技

术类似于注意力机制，它将模型的注意力到

QuestionAnsweringwithCoattentionEncodingand

AnswerPointerNetwork

YinghaoXu

DepartmentofElectricalEngineering

StanfordUniversity

ericx@stanford.edu

MachineComprehension(MC)andQuestionanswering(QA)aredifficultNatural

LanguageProcessing(NLP)taskwhichhaveattractedeverincreasinginterestinrecent

yearswiththereleaseoftheStanfordQuestionAnsweringDataset(SQuAD)[3].This

paperpresentsanend-to-endneuralarchitecturefortheQAproblemonSQuAD,

adoptingtechniquesofCoattentionEncoderbyXiongetal.[1],AnswerPointerNetwork

byWangetal.[2],andtheideaofsmartspan.Thearchitectureconsistsofacoattention

encoderthatencodesthepassageandquestionwordsintomutually-aware

representations,andananswerpointerdecoderthatdecodestheencoded

representationandpredictstheanswerspan.Withthesmartspantechnique,thebest

singlemodelachievesanF1scoreof71.42andEMscoreof59.62onSQuAD

developmentset.

1Introduction

Thequestionansweringtaskisoursettingisthatgivenaquestion/queryanda

context/passage,wearerequiredtopredictananswerusinganexcerptfromthegiven

passage.Thiskindofproblemshaveseenvastrealworl