基于动态协同网络问题回答系统：实现与优化.pdfVIP

基于动态协同注意网络的问题回答系统

统计系

ysun4@

对于CS224n课程的默认项目，我们基本上重新实现了动态协同注意网络。我们从

的基线模型构建了架构，调整了网络，并尝试了不同的正则化策略。最终，

我们在测试集上获得了F1分数为51.705和EM分数为43.457。

1引言

尽管自然语言处理（NLP）近年来取得了广泛的关注和成功，理解文本含义并回

答问题的任务仍然是NLP研究者的一个。一个用于此类阅读理解问题的

基准数据集是斯坦福问答数据集（SQuAD）[1]。虽然SQuAD建立还不到两年，但

在这个领域已经取得了许多重要的突破，了令人惊叹的结果。

在本文中，我们概述了开发神经模型的方法，并尝试了不同的调参设置。

2背景/问题设定

SQuAD数据库由来自Wikipedia的段落和通过AmazonMechanicalTurk收集的

关于这些段落的问题及其组成。总共有10万个问题。我们的目标是在给定

段落和问题的情况下正确回答问题。

我们使用F1分数和完全匹配（EM）分数来评估预测结果。EM分数是一个严格的

二元度量，如果预测与完全匹配，则返回1，否则返回0。F1分数

是精确率和率的调和平均值，大致来说，精确率是指预测中有多少部分

与相符，而率则是指中有多少部分被包含在预测中。

QuestionAnsweringSystemwiththeDynamic

CoattentionNetwork

YiSun*

DepartmentofStatistics

ysun4@

ForthedefaultprojectofCS224ncourse,webasicallydidareimplementationofthe

DynamicCoattentionNetwork.Webuiltthearchitecturefromthebaselinemodel

provided,tunedthenetworkandtrieddifferentregularizationstrategies.Eventually,we

areabletogetF1score51.705andEM43.457ontestset.

1Introduction

DespiterecentpopularityandsuccessofNaturalLanguageProcessing(NLP),thetaskof

understandingthemeaningofatextandansweringquestionsremainstobeachallenge

forNLPresearchers.Onebenchmarkdatasetforsuchreadingcomprehensionproblem

isStanfordQuestionAnsweringDataset(SQuAD)[1].ThoughSQuADestablishedins

thantwoyears,manysignificantbreakthroughhasbeenmadetoprovideamazing

resultsinthisfield.

Inthispaper,weoutlineourmethodsindevelopingtheneuralmodelandexperiment

withdifferentdifferenttunnningparameters.

2Background/ProblemSetting

TheSQuADdatabaseisconsistsofparagraphsfromWikipediaandaquestionandits

answerabouttheparagraphfromAmazonMechanicalTurk.Thereare100Kque