基于双向力字符嵌入问答系统优化研究.pdfVIP

使用双向注意力和字符嵌入的问答系统

刘香草

shawn610@stanford.edu

ytsun@stanford.edu

在这个项目中，我们扩展了用于SQuAD[1]的阅读理解系统的基线模型，遵循

BiDAF[2]并在预测时应用了更智能的跨度[3]。除了架构改进外，我们还使用

不同的策略训练模型，结合隐藏状态、切换RNN类型、改变编层，并战略性

地调整超参数。最终，我们的单个模型能够达到74.695%F1分数和64.37%EM分数。

1引言

阅读理解（RC）和问答（QA）在过去几年中取得了显著成果，自斯坦福问答数

据集（SQuAD）[1],发布以来，社区取得了巨大进展，最佳模型能够实现与人类

表现相当的高F1和EM分数。在我们的项目中，我们对几篇进行了文献研究，

并实现了双向注意力流模型（BiDAF）[2]，并根据DrQA[3]更智能地选择预

测跨度。

2模型

如图1所示，我们的阅读理解模型由多个层次组成。在输入层，我们实现了字符级

别的卷积神经网络CNN[4][2]，然后对包含字符级别编码和词级别编码的混合输入

表示应用LSTM[5]编码。在注意力层，我们实现了双向注意力流[2]。我们在建模

层添加了两层双向LSTM。在后处理阶段，我们在测试时添加了更智能的片段[3]

选择。

QuestionAnsweringwithBi-directionalAttention

andCharacterEmbedding

XiangcaoLiu

shawn610@stanford.edu

YutingSun

ytsun@stanford.edu

Inthisproject,weextendedthebaselinemodelofreadingcomprehensionsystemfor

SQuAD[1]followingtheBiDAFpaper[2]andappliedsmarterspan[3]duringprediction

time.Besidesarchitectureimprovements,wehavetrainedmodelswithdifferent

strategiestocombinehiddenstates,switchRNNtypes,changeencoderlayers,andtune

hyper-parametersstrategically.Intheend,oursinglemodelisabletoachieve74.695%

F1scoreand64.37%EMscore.

1Introduction

Readingcomprehension(RC)andquestionanswering(QA)haveachievedremarkable

resultsduringthepastfewyears,andsincethereleaseofStanfordQuestionAnswering

Dataset(SQuAD)[1],thecommunityhasmadegreatprogressandthebestmodels

couldachievehighF1andEMscoreswhicharecomparabletohumanperformance.In

ourproject,wedidliteralstudyonacoupleofpapers,anddidanimplementationofBi-

Directionalattentionflowmodel(BiDAF)[2]andselectthepredictedspansmarter

followingtheDrQApaper[3].

2Model

Asshowninfigure1,ourreadingcomprehensionmodelconsistsofmultiplelayers.For

inputlayer,weimplementedcharacter-levelConvolutionalNeuralNetworkCNN[4][2]

andthenappliedLSTM[5]encodingover