基于双向力流SQuAD机器理解模型.pdfVIP

使用双向注意力流在SQuAD上进行机器理解

斯坦福大学计算与数学

{dingd,rhzhan}@stanford.edu

本项目应用深度学习和双向注意力流（BiDAF）网络来训练一个模型，用于斯坦

福问答数据集（SQuAD）上的机器理解任务。我们实现的BiDAF模型通过字符级、

词级和上下文级嵌入表示上下文，并利用双向注意力流捕捉上下文和查询之间的

交互。我们实验了指数移动平均并进行了超参数调优。在评估阶段，我们通过搜

索具有最高联合概率的起始和结束位置对来预测区间。我们的单一模型在测

试集上取得了75.594%的F1分数和65.299%的EM分数。

1引言

文本的机器理解（MC）是一项旨在从给定上下文中提取信息以响应给定查询的挑

战性任务。作为展示自然语言理解能力的基准任务，机器理解在自然语言处理社区

中获得了显著的关注。这项任务的重要性也与其广泛的应用密切相关。各行各业都

在密切关注具备机器理解能力的，并将最前沿的技术应用于现有的服

务系统，从法律服务支持到金融。

自2016年发布斯坦福问答数据集（SQuAD）[1]以来，在训练端到端模型以完成

机器理解任务方面取得了快速进展。特别是神经注意机制，它使系统能够关注信

息中更相关的部分，从而带来了重大突破。在这些工作中，Seo等人[2双

向注意力流（BiDAF）模型在SQuAD榜上取得了基准分数，并自此吸引了研

究界的关注。

在这个项目中，我们重新实现了BiDAF网络，包括字符和词嵌入层、上下文嵌入层、双向注意

力流层、LSTM建模层和softmax输出层。

MachineComprehensiononSQuADusingBi-

DirectionalAttentionFlow

DaisyDing,RuohanZhan

InstituteforComputationalandMathematicalEngineering

StanfordUniversity

{dingd,rhzhan}@stanford.edu

ThisprojectappliesdeeplearningwiththeBi-DirectionalAttentionFlow(BiDAF)

networktotrainamodelforthemachinecomprehensiontaskontheStanfordQuestion

AnsweringDataset(SQuAD).WeimplementtheBiDAFmodelthatrepresentsthe

contextwithcharacter-level,word-level,andcontextual-levelembeddingsandutilizes

thebi-directionalattentionflowtocapturetheinteractionsweencontextandquery.

Weexperimentwithexponentialmovingaverageandconducthyperparametertuning.

Duringtheevaluationstage,wemaketheanswer-spanpredictionbysearchingthepair

ofstartandendpositionswiththehighestjointprobability.Oursinglemodelachieves

competitiveresultsof75.594%F1scoreand65.299%EMonthetestset.

1Introduction

Machinecomprehension(MC)oftextisachallengingtaskthataimstoextract

informationfromagivencontextinresponsetoagivenquery.Asabenchmarktaskto

demonstratenaturallanguageunderst