自然语言处理之Seq2Seq原理简介.pdfVIP

day25-⾃然语⾔处理03

上课⽇期April4,2024

主要内容|⽂本⽣成|Seq2Seq原理简介|英-中翻译项⽬|

主讲⽼师李晓华

复习April5,2024

课时3

⽂本⽣成

有条件⽂本⽣成

单轮对话：

输⼊⼀句话

输出⼀句话

换数据不换模型

本质：实现左侧序列到右侧序列的映射

序列转换类任务sequencetrasductiontask

Seq2Seq

Seq2Seq原理简介:

Encoder-Decoder结构

编码器：接收输⼊，提取特征，变成⼀个中间达

解码器：根据中间达，⽣成输出内容

输⼊和输出

输⼊：⼀句话sequence

输出：⼀句话sequence

流程：

-输⼊⼀句话X

-通过循环神经⽹络Encoder提取其特征F中间达(hn)

-特征F输⼊另⼀个循环神经⽹络

-逐个⽣成答句y

day25⾃然语⾔处理031

英-中翻译项⽬Seq2Seq_translate.ipynb

原始数据准备构建字典

读取原始数据

X=[]

Y=[]

withopen(file=./cmn-eng/cmn.txt,mode=r,encoding=utf8)asf:

foridx,lineinenumerate(f):

x,y,_=line.strip().split(\t)

X.append(preprocess_english(x))

Y.append(preprocess_chinese(y))

构建字典

#英⽂字典

english_words={UNK,PAD}

forsinX:

english_words=english_words.union(set(s))

english_word2idx={word:idxforidx,wordinenumerate(english_words)}

english_idx2word={idx:wordforword,idxinenglish_word2idx.items()}

#汉语字典

chinese_words={UNK,PAD,SOS,EOS}

forsinY:

chinese_words=chinese_words.union(set(s))

chinese_word2idx={word:idxforidx,wordinenumerate(chinese_words)}

chinese_idx2