CS224N默认项目报告：SQuAD数据集及问答问题解决探索.pdfVIP

CS224N默认最终项目报告

MarkHolmstrom

计算机科学系

斯坦福大学

斯坦福，加利福尼亚州

94305

markholm@stanford.edu

本项目是对斯坦福问答数据集（SQuAD）及其解决问答问题过程的探索。项目

的目的是观察不同的信息片段和结构变化如何提升由教学人员的基线分类器

的性能。该项目特别关注模块化：能够将不同的部分组合在一起，以构建一个结

合了多种改进的分类器。

1算法修改

项目的一个目标是基于给定的基线构建一个更复杂、更强的问答神经网络。本节

描述了基线以及所作的改进。

1.1基线

基线问答算法的功能如下。它使用预训练的GloVe词嵌入来获取上下文段落和问题

中每个词的嵌入向量。从那里开始，使用一个具有共享参数的单层双向GRU来获取

上下文和问题中每个词的前向和后向隐藏向量。请注意，GRU被使用两次，一次用

于上下文，一次用于问题。这些隐藏向量连接起来，为每个词生成一个隐藏向

量。然后，我们使用点积注意力层，将上下文组合隐藏状态与问题组合隐藏状态进行

关联，并将结果连接到上下文隐藏状态。这些混合表示随后通过输出ReLU层，以获

取每个隐藏状态的原始输出向量。这些原始输出经过两次线性变换，将每个转换为一

个单一的未加权概率近似值，分别表示问题起始位置和结束位置的概率。我们然

后将

CS224NDefaultFinalProjectWrite-Up

MarkHolmstrom

DepartmentofComputerScience

StanfordUniversity

Stanford,CA94305

markholm@stanford.edu

ThisprojectionisanexplorationoftheStanfordQuestionAnsweringDataset(SQuAD)

andtheprocessofsolvingquestionanswersproblems.Thegoaloftheprojectwasto

observehowdifferentpiecesofinformationandstructuralchangescouldboostthe

performanceofabaselineclassifierprovidedbytheinstructionalstaff.Thisproject

focusedespeciallyonmodularity:beingabletopiecetogetherdifferentpartstogether

tomakeaclassifiercombiningdifferentimprovements.

1AlgorithmModifications

Oneofthegoalsoftheprojectwastobuildamorecomplicatedastrongerquestion

answeringneuralnetworkoutofthegivenbaseline.Thissectiondescribesthebaseline

andtheimprovementsmade.

1.1Baseline

Thebaselinequestionansweringalgorithmfunctionsasfollows.Itusespre-trained

GloVewordembeddingstogetanembeddingvectorforeachwordinthecontext

paragraphandthequestion.Fromthere,a1-layerbi-directionalGRUwithshared

parametersisusedtogetaforwardandbackwardhiddenvectorforeachwordinthe

contextandeachwordinthequestion.NotethattheGRUisusedtwice,onceforthe

contextandonceforthequestion.Weconcatenatethesehiddenvectorsto