阅读理解中力机制研究进展.pdfVIP

表格

{

边框‑折叠:

折叠;

}

表格,

th,

td

{

边框:

1px

实线

#000;

}｜end▁of▁sentence｜

探索阅读理解中的注意力机制Noah

Makow｜end▁of▁sentence｜

计算机科学系｜end▁of▁sentence｜

斯坦福大学｜end▁of▁

sentence｜

斯坦福，CA

94301｜end▁

of▁sentence｜

nmakow@stanford.edu｜

end▁of▁sentence｜

｜end▁of▁sentence｜

阅读理解长期以来一直吸引着自然语言处理社区，因为它是一项需要对文本有深刻理解

的任务。在本文中，我们探讨了阅读理解的几项进展，重点关注了不同的注意力机

制。我们观察到，虽然这些注意力机制本身可以极提升性能，但我们发现它们并不

是在SQuAD数据集上接近人类水平性能所需的唯一改进。我们得出结论，未来的阅读理

解工作应考虑既实现新颖的注意力机制，又探索将不同扩展结合成新的高性能混合架构

的方法。｜end▁of▁sentence｜

1

引言｜end▁of▁sentence｜

阅读理解长期以来一直吸引着自然语言处理社区，因为它是一项需要对文本有深刻理解

的任务。为了回答问题，必须对问题和相关段落进行表示（