自然语言处理之Transformer翻译项⽬源码解析.pdfVIP

day28-29-⾃然语⾔处理07

上课⽇期April21,2024

主要内容|Transformer翻译项⽬源码解析|复习|主讲⽼师:李晓华|

主讲⽼师李晓华

复习April22,2024

课时6

Transformer翻译项⽬（英→中）源码解析

数据准备—定义数据集

classSeq2SeqDataset(Dataset):

⾃定义数据集

def__init__(self,tokenizer,file=./data.txt,part=train):

self.tokenizer=tokenizer

self.file=file

self.part=part

self.data=None

self._load_data()

def_load_data(self):

ifos.path.exists(path=fr./{self.part}.bin):

self.data=torch.load(f=fr./{self.part}.bin)

print(加载本地数据集成功)

return

data=[]

withopen(file=self.file,mode=r,encoding=utf-8)asf:

forlineintqdm(f.readlines()):

ifline:

input_sentence,output_sentence=line.strip().split(\t)

input_sentence=self.tokenizer.split_input(input_sentence)

output_sentence=self.tokenizer.split_output(output_sentence)

data.append([input_sentence,output_sentence])

train_data,test_data=train_test_split(data,test_size=0.2,random_state=0)

ifself.parttrain:

self.data=train_data

else:

self.data=test_data

#保存数据

torch.save(obj=self.data,f=fr./{self.part}.bin)

def__getitem__(self,idx):

返回⼀个样本

-列格式

-内容+实际⻓度