使用深度学习与复杂力机制问答领域进展.pdfVIP

使用深度学习和复杂注意力机制问答领域的进展

StuartCornuelle

CS224n|冬季2018

斯坦福大学

stuartcc@stanford.edu

问题回答是机器阅读理解的一个典型测试。大规模标注数据集的可用性现已为该

领域的机器学习模型端到端训练开辟了道路；成功的做法应用了递归神经网络、

深度学习和注意力机制的新组合。在这个项目中，我们旨在某些现代方法来

构建一个强大的问答模型，从功能基线开始，并特别借鉴Seo等人在2017年的论

文《双向注意流用于机器理解》中的工作。[1]

1引言+背景

抽取式问题回答是一项机器阅读理解任务。它要求系统识别（而非生成）给定查

询的最佳最小。必须是包含查询所针对的上下文段落内的连续文本片段。

这种类型的问题回答是信息检索系统的，其应用范围从智能虚拟助手和代

理到源文档的自动和综合。

问题回答任务将一个问题和一个上下文段落作为输入。它输出上下文中回答所提

问题的一个不间断的片段。应不含多余信息；正确的既准确又简明。准

确性通过以下描述的两个感的指标进行评估。

循环神经网络（尤其是注意力机制）在捕捉机器理解中查询和上下文之间更细微

的关系方面取得了成功。在这个项目中，我们采用了其中一种成功的技巧，即双

向注意力流（BiDAF）网络。

ReplicatingAdvancesinQuestion-Answeringwith

DeepLearningandComplexAttention

StuartCornuelle

CS224n|Winter2018

StanfordUniversity

stuartcc@stanford.edu

Questionansweringisacanonicaltestofmachinereadingcomprehension.The

availabilityoflargelabeleddatasetshasnowopenedthewayforend-to-endtrainingof

machinelearningmodelsinthisspace;successfulapproachesapplynovelcombinations

ofrecurrentneuralnetworks,deeplearningandmechanismsofattention.Inthis

projectweseektoreplicatecertainofthesemodernapproachestobuildingapowerful

question-answeringmodel,startingfromafunctionalbaselineandtakingspecial

guidancefromtheworkofSeoetal.intheir2017paper,Bi-DirectionalAttentionFlow

forMachineComprehension.[1]

1Introduction+Background

Extractivequestionansweringisamachinereadingcomprehensiontask.Itrequiresa

systemtoidentify,thoughnotgenerate,theminimalbestanswertoagivenquery.The

answermustbeacontiguousspanoftextcontainedwithinacontextparagraphagainst

whichthequeryisposed.Questionansweringofthissortisacornerstonein

informationretrievalsystems,withapplicationsrangingfromsmartvirtualassistants

anddialogagentstotheauto-summarizationandsynthesisofsourcedocuments.

Thequestion-answeringproblemtakesa