使用深度学习机器理解：双向力流网络探索.pdfVIP

使用深度学习机器理解：双向力流网络探索.pdf

使用深度学习的机器理解

HenryLin1和SharmanTan2

1斯坦福大学符号系统系

2斯坦福大学计算机科学系

{henryln1,sharmant}@stanford.edu

机器理解是自然语言处理（NLP）和机器学习领域中最有趣的任务之一。许多最

近成功的方法涉及使用词嵌入和不同变体的循环神经网络（RNN）。在本文中，

我们探讨了双向注意力流（BiDAF）网络与双向LSTM器和字符级嵌入相结合

的性能。然后，我们在斯坦福问答数据集（SQuAD）上评估我们的方法，并在测

试集上取得了F1分数为74.862和EM分数为64.230的成绩。

1引言

机器理解是自然语言处理（NLP）的众多子领域之一，近年来随着深度学习的日益

流行而获得了显著的关注。该问题涉及一个给定信息段落（称为上下文）和查询

作为输入的机器或模型，机器的工作是从上下文段落中提取问题的正确。最

近最成功的深度学习方法包括利用高级形式的RNN以及预训练的词嵌入，以在

SQuAD上实现高精度。通常情况下，模型使用注意力机制，使程序能够专注于上

下文中的一个小且相关部分，以关注上下文和查询之间的交互。

在本文中，我们详细介绍了双向注意力流（BiDAF）的实现，并介绍了我们

为提高模型性能而实施的几项改进和修改。虽然这些改进的影响各不相同，