Ask BiDAF:探索斯坦福问答数据集上双向力流模型.pdfVIP

AskBiDAF

MitchellDouglass,GriffinKoontz,CaelinTran{mrdoug95,griffink,cktt13}@stanford.edu

斯坦福大学|CS224n|2018年冬季

机器语言理解是自然语言处理（NLP）领域内一个高度研究的目标。在基本的问

答（QA）任务中，系统必须根据给定的上下文信息正确回答查询。在本文中，我

们探讨了在斯坦福问答数据集（SQuAD）[5]上实现和扩展一种最先进的QA任务方

法：使用双向查询‑上下文注意力机制的循环神经网络模型[7]。在测试了不同的词

嵌入和字符嵌入、神经网络配置、超参数设置、组装技术以及其他扩展（如基于

训练集中长度的候选先验）后，我们在SQuAD测试集上达到了最终的

F1得分为79.937，EM得分为71.562，证明了双向注意力流（BiDAF）在机器理解

中的实用性。

1引言

我们的精确问答可以描述如下。给定一个人类可读的查询和一个包含

所述查询的自然语言文本上下文，识别出最恰当地回答的文本段落。例

如，一个查询可能是“本杰明・富兰克林时候出生的？”而上下文可能是

关于富兰克林先生的传记百科文章的摘录。从上下文中提取的适当将是

“”。

我们使用斯坦福问答数据集来训练、开发和测试我们的模型。SQuAD是一项大规

模众包项目的成果，该项目中人类参与者从英文百科语料库[5]中组装了超过

10万个上下文、查询及其对应的。在SQuAD赛中，研究人员竞相开发能

够在由原始数据集作者策划的私人测试集上实现尖端性能的问答模型。提交的作品

远远超过了已发布的逻辑回归基线（F1分数为51.0）[5]，并且继续接近人类的表

现（F1分数为91.2）[5]。

在我们应对SQuAD的方法中，我们应用了神经网络的深度学习，近年来由于大量高质量数据集

的增加，这种方法得到了，这些数据集是训练所必需的。与传统方法相比，这些模型具有吸引

力，主要是因为它们的端到端特性，即能够仅使用原始数据作为输入进行学习，通常完全省去了耗

时且成本高昂的特征工程过程。

AskBiDAF

MitchellDouglass,GriffinKoontz,CaelinTran{mrdoug95,griffink,cktt13}@stanford.edu

StanfordUniversity|CS224n|Winter2018

Machinelanguagecomprehensionstandsasahighlyresearchedgoalwithinthefieldof

naturallanguageprocessing(NLP).Inthefundamentalquestion-and-answer(QA)task,a

systemmustappropriatelyansweraquerygivencontextualinformation.Inthispaper,

weexploretheimplementationandextensionofonestate-of-the-artapproachtothe

QAtaskontheStanfordQuestionAnsweringDataset(SQuAD)[5]:arecurrentneural

networkmodelusingbidirectionalquery-contextattention[7].Aftertestingdifferent

wordandcharacterembeddings,neuralnetworkconfigurations,hyperparameter

settings,assemblingtechniques,andotherextensions,suchasa