迈向集成问答模型：基于SQuAD探索与实践.pdfVIP

迈向集成的问答模型

刘方舟

fzliu96@stanford.edu

本文基于斯坦福问答数据集（SQuAD）的现有研究，构建了多种旨在从较长的上

下文段落中选择范围以回答性问题的模型。我通过实验不同的词嵌入表示、

注意力层以及输出层的组合，来整合各种高性能的SQuAD模型，如R‑Net和

BiDAF。在SQuAD上最成功的模型是结合了BiDAF中的双向上下文‑问题注意力层与

混合的词‑字符表示，并使用细粒度门控而非拼接的方式进行组合。

1引言

在本文中，我构建并比较了多种模型，这些模型从较长的上下文段落中选择一个

范围，以回答性问题。这些模型在SQuAD数据集上进行训练和评估。我

的目标有两个：首先，测试混合词级和字符级嵌入表示与纯词表示相比的有效性，

以及结合这些表示的方法。其次，比较各种输出层机制在与基础双向注意力（从

上下文到问题和从问题到上下文）结合时的有效性，这些注意力机制借鉴了Seo

等人2016年实现的BiDAF模型。

2数据

首先，基线模型的一个关键缺点是它独立于起始位置预测范围的结束位置。由于

选择的结束标记出现在起始标记之前，导致多个被错误预测，实际上没有选择任

何范围。因此，将结束预测条件化在起始预测上是该模型的优先事项。

其次，尽管在基本注意力层应用了dropout，基线模型仍然出现了严重的过拟合。开发集F1分

数和训练集F1分数差异显著，以至于在15,000次迭代后，最佳开发集F1分数为0.4，而最佳训

练集F1分数为0.75。

这表明需要在至少两个方面进行超参数调整：首先，增加dropout比例；其次，随着

模型复杂度因添加层而增加，识别减少参数维度的策略。这里存在一个权衡，

Towardsanintegratedquestion-answeringmodel

FangzhouLiu

fzliu96@stanford.edu

ThispaperbuildsonexistingworkontheStanfordQuestion-AnsweringDataset(SQuAD),

constructingvariousmodelsthataimtoselectananswerspanfromalongercontext

paragraphinresponsetoafactualquestion.Iaimtointegratevarioushigh-performing

SQuADmodelssuchasR-NetandBiDAFbyexperimentingwithdifferentcombinations

ofwordembeddingrepresentations,attentionlayersaswellasoutputlayers.Themost

successfulmodelonSQuADisacombinationofthebi-directionalcontext-question

attentionlayerinBiDAFwithhybridword-characterrepresentationscombinedusing

fine-graineding,ratherthanconcatenation.

1Introduction

Inthispaper,Iconstructandcomparevariousmodelsthatselectananswerspanfroma

longercontextparagraphinresponsetoafactualquestion,trainedandevaluatedon

theSQuADdataset.Myaimistwofold:First,totesttheeffectivenessofhybridword-

andcharacter-levelembeddingrepresentationscomparedtopurewordpresentations,

aswellasmethodsofcombiningtheserepresentations.Second,tocomparethe

effectivenessofvarious