自然语言处理循环神经⽹络学习笔记.pdfVIP

day24-⾃然语⾔处理02

上课⽇期March31,2024

•循环神经⽹络|⾃定义RNN、多层循环神经⽹络、双向循环神经⽹络

•LSTM⻓短期记忆|LSTM单元、PyTorchAPI、形状

主要内容•GRU|简化版LSTM

•五⼤范式|Many2One、Many2Many（同步和异步）

•NLP基本流程|获取语料、分词、编码、RNN、分类

主讲⽼师李晓华

复习April1,2024

课时6

循环神经⽹络

参考博客：https://colah.github.io/posts/201508Understanding-LSTMs/

⾃定义循环神经⽹络RNN

htanh(xWT+b+hWT+b)

ttihiht−1hhhh

a多层循环神经⽹络，参数num_layers：

rnn=nn.RNN(input_size=300,hidden_size=128,num_layers=3)

forparaminrnn.parameters():

print(param.shape)

torch.Size([128,300

torch.Size([128,128

torch.Size([128])

torch.Size([128])

torch.Size([128,128

torch.Size([128,128

torch.Size([128])

torch.Size([128])

torch.Size([128,128

torch.Size([128,128

torch.Size([128])

torch.Size([128])

b双向循环神经⽹络，参数bidirectionalTrue/False)：

rnn=nn.RNN(input_size=300,hidden_size=128,num_layers=1,bidirectional=True)

forparaminrnn.parameters():

print(param.shape)

torch.Size([128,300

torch.Size([128,128

torch.Size([128])

torch.Size([128])

torch.Size([128,300

torch.Size([128,128

torch.Size([128])

torch.Si