SQuAD挑战：斯坦福问答数据集上机器理解.pdfVIP

SQuAD‑斯坦福问答数据集上的机器理解

RohitPrakashApte

SUID:rapte

CodalabID:rapte@

CS224N2017‑2018冬季学期

在过去的几年里，我们在诸如命名实体识别[1],词性标注[2]和分析[3]等自然

语言处理任务中取得了一些重要的进展。深度学习架构已经取代了传统的机器学

习方法，并取得了令人印象深刻的结果。然而，阅读理解仍然是机器学习的一个

性任务[4][5]。系统必须能够建模段落和问题之间的复杂交互。直到，我

们才看到模型接近人类水平的准确性。1在这篇中，我实现了双向注意力流

模型[6],，使用预训练的词向量和自己训练的字符级嵌入。这两种方法结合后通

过多个深度学习层生成对段落文本的查询感知上下文表示。我的模型在测试集上

达到了76.553%的F1分数和66.401%的EM分数。

1引言

2014年出现了一些关于使用神经网络进行机器翻译的首批科学（

Bahdanau等[7],Kyunghyun等[8],Sutskever等[9]）。自那以后，我们

了研究的式增长，推动了序列到序列模型、多语言神经机器翻译、文本摘

要和序列标注的进步。

机器理解通过提出一系列阅读理解问题及其相关文本，评估机器的理解能力，其

中每个问题的只能在其相关文本中找到[5]。机器理解一直是一个难以解决的

问题——一个段落通常包含多个句子，而循环神经网络在处理长期依赖关系时存

在。尽管LSTM和GRU解决了RNN的梯度/问题，但在实践中仍然面

临。仅使用最后一个隐藏状态进行预测意味着最终的隐藏状态必须编码关于

长词序列的所有信息。另一个问题是缺乏大型数据集，这些数据集是深度学习模

型展现其潜力所必需的。

TheSQuADChallenge-MachineComprehensionon

theStanfordQuestionAnsweringDataset

RohitPrakashApte

SUID:rapte

CodalabID:rapte@

CS224NWinter2017-2018

OverthepastfewyearshaveseensomesignificantadvancesinNLPtaskslikeNamed

EntityRecognition[1],PartofSpeechTagging[2]andSentimentAnalysis[3].Deep

learningarchitectureshaverecedconventionalMachineLearningapproacheswith

impressiveresults.However,readingcomprehensionremainsachallengingtaskfor

machinelearning[4][5].Thesystemhastobeabletomodelcomplexinteractions

weentheparagraphandquestion.Onlyrecentlyhaveweseenmodelscomecloseto

humanlevelaccuracy.1ForthispaperIimplementedtheBidirectionalAttentionFlow

model[6],usingpretrainedwordvectorsandtrainingmyowncharacterlevel

embeddings.Boththesewerecombinedandpassedthroughmultipledeeplearning

layerstogenerateaqueryawarecontextrepresentationoftheparagraphtext.My

modelachieved76.553%F1and66.401%EMonthetestset.

1Introduction

2014sawsomeofthefirstscientificpapersonusingneuralnetworksformachine

translation(Bahdanauetal[7],K