第三章：基于MindSpore神网络语言模型实践.pdfVIP

第三章语言模型与向量表示实践代码

3.1.3神经网络语言模型实践

本实践用MindSpore实现长短期记忆网络(LSTM)来进行文本预测，从而展示训练语言模型

的基本步骤和细节。完整可运行代码:

(1)加载MindSpore模块

首先，导入依赖包，操作示例如下。

importmindspore.nnasnn

frommindspore.opsimportoperationsasP

frommindspore.train.modelimportModel

frommindsporeimportcontext

(2)数据准备

使用MindSpore自研数据格式API创建NLP数据集，通过调用的train_

dataset()函数实现。

(3)定义网络

在MindSpore下实现了LSTM函数，可以用来实现LSTM层，多个网络单元

（nn.Cell）可以组合成LSTM。LSTM自动实现了前向。LSTM层定义如下所示：

classSentimentNet(nn.Cell):

def初始化(self,

_

numlayers,

双向，

，

权重

super(LSTM,self).init()

,

嵌入_大小，

_

嵌入表权重)

self.transP.Transpose()

self.perm(1,0,2)

__

self.encodernn.LSTM(输入大小嵌入大小，

bidirectionalbidirectional，

self.concatP.ConcatV2(1)

第三章语言模型与向量表示实践代码

3.1.3神经网络语言模型实践

本实践用MindSpore实现长短期记忆网络（LSTM）来进行文本预测，从而展示训练语言模

型的基本步骤和细节。完整可运行代码：

（1）加载MindSpore模块

首先，导入依赖包，操作示例如下。

importmindspore.nnasnn

frommindspore.opsimportoperationsasP

frommindspore.train.modelimportModel

frommindsporeimportcontext

（2