分析用于SQuAD挑战建模层效果.pdf

分析用于SQuAD的建模层

蒂莫西・安德森

电气工程系

斯坦福大学

加州斯坦福,94305

timothy.anderson@stanford.edu

本项目分析了在用于SQuAD的神经网络中添加语言建模层的效果。我们测试

了几种不同的架构,包括零个、一个和两个建模层,并结合三种不同的注意力机

制:点积注意力、二次注意力(点积注意力的一个简单变体)和双向注意力流

(BiDAF)。结果显示,单个额外的语言建模层对模型准确性的影响最大。虽然更

复杂的注意力机制也有影响,但添加建模层的效果要

文档评论(0)

1亿VIP精品文档

相关文档