双层BiDAF模型结合残差连接问答系统研究.pdfVIP

双向注意力及其扩展：用于问答任务的带残差连接

的双层BiDAF模型

PedroM.Milani机械工程系斯坦

福大学斯坦福，加利福尼亚州

94305

pmmilani@stanford.edu

在本工作中，我实现并测试了一个深度学习系统以完成问答任务。这项工作基于

流行的SQuAD数据集[11],，其中包含超过10万个示例。我所使用的模型基于

Seo等人双向注意力流模型[12],，并添加了第3节中描述的一些改进。我的

最终模型的集成在测试集上获得了75.20%的F1分数和65.36%的EM分数，使我

（在提交时）位列课程榜前25名（我假设参赛队伍超过100支）。第4节对当

前模型进行了定性分析，特别是对字符级嵌入的分析。

1引言

在过去的几年中，深度学习技术彻底改变了自然语言处理（NLP）领域。从机器

翻译到依存句法分析，之前最先进的成果迅速变得过时。在本工作中，我专注于将

深度学习应用于问答任务：给定一段上下文和一个问题，模型应能够生成。本

项目选用的数据集是斯坦福问答数据集（SQuAD）[11]。

SQuAD于2016年发布，是问答任务中一个流行的数据集。它包含了大约

107,000个上下文‑问题‑三元组，被随机划分为训练集（80%）、开发集（

10%）和（）测试集（10%）。这些上下文来自对高质量百科页面段落

的采样；问题和则通过众包工作由人工标注者生成[11]。是各自上下文中

的连续词序列，每个上下文有三个（由三个不同的人工标注者独立生成）。

评估指标在三个可能的中计算最大准确率，所有文本均转换为小写形式，

并忽略两端的冠词。以下展示了一个来自开发集的上下文、问题和三元组示

例：

Bi-DirectionalAttentionandBeyond:DoubleBiDAF

withResidualConnectionsforQuestionAnswering

PedroM.Milani

MechanicalEngineeringDepartment

StanfordUniversity

Stanford,CA94305

pmmilani@stanford.edu

Inthepresentwork,Iimplementandtestadeeplearningsystemtoperformaquestion

answeringtask.ThisworkisbasedonthepopularSQuADdataset[11],withover100k

examp.ThemodelIusedisbasedonthebi-directionalattentionflowproposedby

Seoetal.[12],withsomeadditionsdescribedinsection3.Anensembleofmyfinal

modelobtained75.20%F1scoreand65.36%EMscoreinthetestset,puttingme(at

submissiontime)inthetop25scoresintheclass(Iassumethereareover100teams).

Section4presentssomequalitativeanalysisofthecurrentmodel,especiallyof

character-levelembedding.

1Introduction

DeeplearningtechniqueshaverevolutionizedthefieldofNaturalLanguageProcessing

(NLP)inthepastfewyears.Previousstate-of-the-artresultsquicklybecameobsolete

acrosstheboard,frommachinetranslationtodependencyparsing.Inthepresentwork,

Ifocusonapplyingdeeplearningtothetaskofquestionanswering:gi