Fairseq-快速可扩展的序列建模工具包.pdfVIP

Fairseq-快速可扩展的序列建模⼯具包

⼀种快速、可扩展的序列建模⼯具包，Pytorch的⾼级封装库，适⽤于机器翻译、语⾔模型和篇章总结等建模任务。

抽象

注册

实现上的特点

抽象

Dataset：数据加载

Fairseq中的基本都是按功能逐层封装，按需组合起来。所有数据加载的实现均位于下⾯。

Datasetfairseq/data

两个⽐较常⽤的数据处理类：

IndexedDataset直接处理/读取，bin/raw⽂件。

LanguagepairDataset包含src和tgt两个Dataset，⽤于处理成对的数据。⽐如在机器翻译的中翻英任务中，处理中⽂和英⽂⽂本。

Option：参数定义

Fairseq中的参数统⼀使⽤库实现，模型通⽤参数被定义在下。同时每个模型均有其特有参数，通过每个模型

argsparser