高性能问答模型与迁移学习研究.pdfVIP

高性能SQuAD与迁移学习

JeffChenjc1@

AlexandreGauthieragau@

我们使用源自百科的斯坦福问答数据集[1],来训练问答模型。我们在测试集

上取得了F1得分74.3%+，EM得分为64.2%+（结果待CodaLab完成后

确认），这一表现与最初的双向注意力流（BidirectionalAttentionFlow）

[4]相当，并且相比基线F1分数∼43%有显著提升。关键改进包括双向注意力机

制、建模层中使用的堆叠双向LSTM、跨度表示、特征生成以及参数调优。我们通

过在手工构建的“头条”、“财经”和“公司年度报告”类别数据集上

取得68−90%的准确率，证明了使用我们训练的模型进行迁移学习是可行的。

1引言

以自然语言形式问题进行回答是领域中一个具有性且重要的问题，

研究人员在此领域不断取得进展。理想情况下，一个计算机系统应该能够在无需显式

解析文本和从中提取信息的情况下回答问题，从而使处理过程更具可扩展性。此外，用

户无需提出复杂的查询，这使得训练的用户也能方便地使用。

斯坦福问答数据集（SQuAD）[1]是训练机器学习模型以回答问题的重要资源。自

从该数据集发布以来的几，计算机的性能不断提升，目前已接近人类在此任

务上的表现水平。

2背景与相关工作

最早期的问答系统高度受限于特定领域，只能回答少量问题（通过打孔卡编码），

这些问题仅与非常具体的数据集相关[2]。近年来，神经网络技术的发展使得更

通用的问答软件成为可能，SQuAD数据集上的快速进展便证明了这一点。

该数据集要求计算机回答简短的问题，其中包含在的百科“上下

文”文档中。可以使用F1分数来量化性能，其定义如下：

HighPerformanceSQuADandTransferLearning

JeffChenjc1@

AlexandreGauthieragau@

WeusetheStanfordQuestionAnsweringDataset[1],derivedfromWikipedia,totraina

questionansweringmodel.WeachievedanF1scoreof74.3%+onthetestsetwithan

EMof64.2%+(latestresultsarependingCodaLabcompletion),whichiscomparableto

theoriginalBidirectionalAttentionFlowpublication[4]andasignificantimprovement

overthebaselineF1of∼43%.Keyimprovementsincludebidirectionalattention,a

stackedbidirectionalLSTMinthemodelinglayer,spanrepresentations,feature

generation,andparametertuning.Wedemonstratethattransferlearningispossible

withourtrainedmodelbyachieving68−90%correctonourhand-crafteddatasetsin

TopNews,FinancialNews,andCorporateAnnualReportcategories.

1Introduction

AnsweringquestionsposedinnaturallanguageisadifficultandrelevantprobleminAI,

andoneinwhichadvancesarecontinuouslybeingmade.Itisdesirableforacomputer

system