基于SQuAD机器学习优化研究.pdfVIP

表格

{

边框‑坍塌:

坍塌;

}

表格,

th,

td

{

边框:

1px

固定

#000;

}

机器学习优化在SQuAD上的应用

朱利安·比拉潘多

计算机科学系

斯坦福大学

加利福尼亚州斯坦福市

94305

jvilla32@stanford.edu

程团队的基线代码库为构建了坚实的基础。通过添加简单但强大的升级，我能

够以有意义的方式改进基线模型。在这篇中，我将详细说明所添加功能的实现及其影响。

1

引言

信息检索已经取得了长足的进步——尤其是在过去的几年里。过去，曾有上百人的团队手

工制作特征集，而现在则是端到端的模型产生了更强、更稳健的结果。随着注意力机制

的引入，性能达到了前所未有的高度。下面，我将详细介绍我用来改进基础模型的技术，

包括：双向注意力流、特征工程和改进的跨度选择。

2

数据集

斯坦福问答数据集（SQuAD）是从超过500篇百科文章中生成的，包含超过10万

组问题、上下文、范围和对。上下文代表可以从其中回答问题的文本体。问

题有一个明确的，而范围则表示的起始和结束索引。

在开发之前，我生成了几张直方图，这些图表让我对SQuAD数据集的一般趋势有了了解。