：用于问答神架构及其改进.pdfVIP

关注：用于问答的神经架构

ZiaHasan三星电子苏

won，韩国

z

iahasa

n@

Sebastian德国

电信柏林，德国

s

eb1988

@

机器理解是自然语言理解的一性任务。通常，我们会被给予一个上下文段

落，目标是回答一个依赖于该上下文的问题。这样的问题需要建模上下文段落和问

题之间的复杂交互。，注意力机制在这些任务中被发现非常成功，特别是，从

上下文到问题和从问题到上下文的双向注意力流机制已被证明非常有用。在这篇论

文中，我们研究了两种最先进的注意力机制，即双向注意力流（BiDAF）和动态共

注意力网络（DCN），并提出了一种结合这两种架构的混合方案，以获得更好的整

体性能。此外，我们还建议了一种新的更简单的注意力机制，我们称之为双重交叉

注意力（DCA），它在与混合方案相似性能的同时，比BiDAF和共注意力机制

了更好的结果。我们的旨在特别关注注意力层，并提出改进建议。我们的

实验评估表明，我们两个模型在斯坦福问答数据集（SQuAD）上都取得了

优于BiDAF和DCN注意力机制的结果。

1引言

使机器理解自然语言是实现系统的关键之一。向机器提问并获得有

意义的对我们来说具有价值，因为它自动化了知识获取的过程。

PayMoreAttention:NeuralArchitecturesfor

Question-Answering

ZiaHasan

SamsungElectronics

Suwon,SouthKorea

ziahasan@

Sebastian

DeutscheTelekomAG

Berlin,Germany

seb1988@

Machinecomprehensionisarepresentativetaskofnaturallanguageunderstanding.

Typically,wearegivencontextparagraphandtheobjectiveistoansweraquestionthat

dependsonthecontext.Suchaproblemrequirestomodelthecomplexinteractions

weenthecontextparagraphandthequestion.Lately,attentionmechanismshave

beenfoundtobequitesuccessfulatthesetasksandinparticular,attentionmechanisms

withattentionflowfrombothcontext-to-questionandquestion-to-contexthavebeen

proventobequiteuseful.Inthispaper,westudytwostate-of-the-artattention

mechanismscalledBi-DirectionalAttentionFlow(BiDAF)andDynamicCo-Attention

Network(DCN)andproposeahybridschemecombiningthesetwoarchitecturesthat

givesteroverallperformance.Moreover,wealsosuggestanewsimplerattention

mechanismthatwecallDoubleCrossAttention(DCA)thatprovidesterresults

comparedtobothBiDAFandCo-Attentionmechanismswhileprovidingsimilar

performanceasthehybridscheme.Theobjectiveofourpaperistofocusparticularlyon

theattention