- 0
- 0
- 约4.05万字
- 约 24页
- 2026-11-16 发布于北京
- 举报
问题解答:多种注意力机制的应用
斯坦福大学
加利福尼亚州斯坦福市
94305
sunmo@stanford.edu
在CS224N
2018年冬季课程的最终项目中,我们为端到端问答系统实现了编码
器、注意力机制和输出层的多种变体。双向注意力流模型(BiDAF)在斯坦福
问答数据集上表现优于其他模型,单个BiDAF模型在开发集上F1得分为
74.37%,测试集F1得分为74.72%,,而集成模型在测试集上的F1得分达
到76.02%.
1
引言
阅读理解是人类日常任务之一,也是交流的基本方式。机器阅读理解(
MRC)研究旨在构建能够理解语言的智能系统,这在实际场景中有广泛应
用。评估MRC系统的一个关键外部任务是通过问答(QA)实现的,这项现实任
务既需要自然语言理解能力,也需要世界知识。
问答任务可通过不同形式呈现,例如在MCTest
[1]中,每个任务由上下文、问题
和候选组成元组,目标是从给定候选中识别正确。本项目将针对斯坦福
问答数据集(SQuAD)[2],实现模型,其中每个任务为⟨元组。给定上下
文查询系统需在识别构成文本片段。
本项目旨在为SQuAD问答任务构建端到端神经。我们实现了多种变体,
并发现双向注意力流在开发集上表现最佳。该系统
原创力文档

文档评论(0)