人民大2024《人工智能与Python程序设计》课件（教材配套版）第14章-自然语言处理实践-2循环神经网络的原理和实现.pdfVIP

《人工智能与Python程序设计》——循环神经网络的原理和实现

人工智能与Python程序设计教研组

如何使用神经网络处理自然语言文档？

•自然语言是一个由字或词等符号（token）组成的序列

–长度可变

–顺序会对自然语言的语义产生影响

–词语之间具有依赖关系

•自然语言处理要求我们使用能对序列进行建模的神经网络模型

回顾：基于循环神经网络的语言模型

•基于循环神经网络的语言模型（RecurrentNeuralNetworks，RNN）

–RNN语言模型分析

–优点

•可以处理任意长度的输入

•当前时间的计算可以利用之前的信息

•模型大小并不随输入的长度变化

•在这节课中我们将介绍如何使用PyTorch搭建一个循环神经网络

循环神经网络

•循环神经网络的结构

–具有一组隐状态（hiddenstate）向量：ℎ

–隐状态向量ℎ由当前输入和前一个隐状态向量决定ℎ