双向力机制在机器理解中应用研究.pdfVIP

双向注意力机制在机器理解中的应用

AnandVenkatesan电气工程斯坦福大学斯坦福，加

利福尼亚94305anand95@stanford.edu

AnanthakrishnanGanesan计算与数学工程

斯坦福大学

斯坦福，加利福尼亚

94305

ananthg@stanford.edu

机器理解总体上来说，特别是问题回答，是一项复杂的任务。我们实现了一种神

经网络架构，用于根据上下文段落预测。特别地，我们使用了双向注意力流

机制来有意义地提取上下文和问题词之间的交互，从而帮助模型轻松识别正确答

案。我们的模型在斯坦福问答数据集上的表现达到了与最先进水平相当的指标。

我们分析了注意力图以及一些错误预测，以了解如何改进模型。我们还展示了模

型预测比更合理的例子。

1引言

鉴于不断变化的上下文和我们可以向机器学习模型不同类型的问题，从阅

读理解中进行问题回答仍然是一个有趣的研究课题。成功实施问题回答可以减少

人为干预，并使大多数任务变得更加简单。由于语言是人类的抽象概念，训练机

器回答问题是非平凡的任务。

例如，特定的上下文可能在段落中多次出现，因此让机器识别文本中的正确部分极其。

BiDirectionalAttentionforMachineComprehension

AnandVenkatesan

ElectricalEngineering

StanfordUniversity

Stanford,CA94305

anand95@stanford.edu

AnanthakrishnanGanesan

InstituteforComputationalandMathematicalEngineering

StanfordUniversity

Stanford,CA94305

ananthg@stanford.edu

Machinecomprehensioningeneral,andquestionansweringinparticular,isacomplex

task.Weimplementedaneuralnetworkarchitecturetopredictanswerstoquestions

basedonacontextualparagraph.Inparticular,weusedaBiDirectionalAttentionFlow

mechanismtomeaningfullyextractinteractionsweencontextandquestionwords,

therebyfacilitatingthemodeltoeasilyidentifythecorrectanswers.Ourmodelachieved

metricscomparabletothestate-of-the-artontheStanfordQuestionAnsweringDataset.

Weanalyzedtheattentionplotsaswellassomeerroneouspredictionstounderstand

howthemodelcouldbeimproved.Wealsodepictedexampwherethemodel

predictionsaremoresensiblethanthetrueanswer.

1Introduction

QuestionAnsweringfromReadingComprehensioncontinuestobeaninterestingtopic

forstudy,giventheever-changingcontextandthedifferentkindsofquestionswecould

posetoourmachinelearningmodels.Successfulimplementationofquestionanswering

canleadtoshumaninterventionandcanmakemost