先进问答系统技术探索.pdfVIP

最先进的问答系统技术探索

JamesPayette计算机科学系

斯坦福大学斯坦福，加利福尼

亚州94305

jpayette@stanford.edu

在本文中，我探讨了多种特征提取、编码和注意力机制技术对斯坦福问答数据

集（SQuAD）模型性能的影响。在探索每种技术相对于简单基线模型的边际收

益后，我将那些显示出提高性能或训练效率潜力的技术结合起来，训练能够在

SQuAD上表现良好的模型。随后，我进行了错误分析，并考虑了可能进一步提

高性能的扩展方法。

1引言

SQuAD邀请参与者使用公开可用的SQuAD训练开发集创建一个能够推广到

私有SQuAD测试集的问答（QA）系统。模型评估基于未见测试数据计算的F1和

完全匹配（EM）统计指标。尽管世界上表现系统接近人类水平（F1：

91和EM：82），但该问题通常被认为非常，高性能模型通常非常复杂且需

要大量计算资源。

本项目的主要目标是创建一个在SQuAD中表现优异的模型。项目的次要目标

是探索一些优化QA系统的技术的边际效用。对于每种技术，我用一个

优化模块替换了基线模型中的单个模块，并测量了性能差异。最后，我利用这些

数据将最具说服力的模块组合成两个模型，以在SQuAD中实现高性能。

我使用的基线模型是由CS224N教学团队的[1]。该模型由一个GloVe词嵌入层

组成，该层连接到一个单向双向RNN编码层，随后是一个基本的注意力层，以及

一个简单的输出层，该输出层在上下文中的所有可能跨度上取最大联合概率。

AnExplorationofStateoftheArtTechniquesfor

QuestionAnsweringSystems

JamesPayette

DepartmentofComputerScience

StanfordUniversity

Stanford,CA94305

jpayette@stanford.edu

Inthispaper,Iexploretheimpactthatanumberofdifferenttechniquesforfeature

extraction,encoding,andattentionhaveonmodelperformanceontheStanford

QuestionAnsweringDataset(SQuAD).Afterexploringthemarginalbenefitsthateach

techniquedeliversoverthatofasimplebaselinemodel,Icombinethetechniquesthat

showedpromiseinincreasingperformanceortrainingefficiencytotrainmodelsto

performwellonSQuAD.Ithengointoerroranalysisandconsiderpossibleextensions

thatcouldfurtherincreaseperformance.

1Introduction

TheSQuADchallengeinvitesparticipantstocreateaquestionanswering(QA)system

usingthepubliclyavailableSQuADtrainingdevelopmentsetthatwillgeneralizewellto

theprivateSQuADtestset.ModelsareevaluatedusingF1andExactMatch(EM)

statisticsthatarecalculatedoverunseentestdata.Whilethehighestperforming

systemsintheworldcomeclosetohumanperformance(F1:91andEM:82),the

problemisgenerallyconsidered