《自然语言处理技术》实训指导实训13 基于LSTM实现情感分析.docxVIP

深入文本进阶处理

——基于LSTM实现情感分析

实训目标

熟练进行情感语料的读取，以及评论词语的向量化。

熟练使用torch库中的LSTM类构建LSTM模型。

熟练掌握LSTM模型接收训练数据进行训练的步骤。

熟练掌握LSTM模型预测效果测试的方法。

实训环境

环境

版本

说明

Windows10

64

电脑操作系统

Python

3.8.5

Python语言版本

pandas

1.3.0

主要用于数据读取、清洗等操作

NumPy

1.21.6

主要用于Python中的数值计算

jieba

0.42.1

主要用于文本分词

Gensim

4.2.0

主要用于检索文本、计算文本相似度、训练词向量、建模主题等

Matplotlib

3.3.0

主要用于数据可视化

PaddlePaddle

2.4.2

是一个深度学习框架，提供了高效的计算框架和优化算法

PaddleSpeech

1.2.0

主要用于语音和音频中的各种关键任务的开发

scikit-learn

1.0.2

广泛地用于统计分析和机器学习建模等数据科学领域

Librosa

0.8.1

主要用于分析一般的音频信号，是一个非常强大的Python语音信号处理的第三方库

NLTK

3.5

是一个常用的自然语言处理工具包，可用于文本处理、语义分析、词性标注等

SciPy

1.7.3

是一个科学计算工具包，可用于数学、科学、工程学等领域

pyttsx3

2.9.0

主要用于将文本转换成语音

实训说明

情感分析的数据来源为某电商平台的热水器评论数据，其中正面评论10677条，负面评论10428条。本任务的目的是通过构建模型识别各条评论的情感倾向，即情感分析，正面评论为1，负面评论为0。

情感分析基本流程如REF_Ref131514545\h图31所示。

图STYLEREF1\s3SEQ图\*ARABIC\s11情感分析流程图

实训步骤

读取正负情感语料

由于情感分析的目的是将数据划分为正面和负面标签，故需将正负语料的数据进行“贴标签”处理，正面评论标签为1，负面评论标签为0，读取语料数据如REF_Ref131514592\h代码31所示。

代码STYLEREF1\s3SEQ代码\*ARABIC\s11读取语料数据

importpandasaspd

#读取正负情感语料

dataset=pd.read_csv(../data/ChnSentiCorp_htl_all.csv).dropna()

df=dataset[[label,review]]

reviews=df.review.values.tolist()

labels=df.label.values.tolist()

reviews=df.review.values.tolist()

labels=df.label.values.tolist()

评论词语向量化

由于数据为评论文本的形式，不能直接用于建模，所以需要对评论数据进行文本的分词处理，计算每个词语出现的频次，将分词结果进行向量化，变为模型可以识别的数据形式。由于每一串索引的长度并不相等，所以为了方便模型的训练，需要将索引的长度标准化，这里每条评论取50个词作为标准。最后再将数据划分为训练集和测试集以便建模训练。将评论文本中的词语向量化，并划分数据，如REF_Ref131514664\h代码32所示。

代码STYLEREF1\s3SEQ代码\*ARABIC\s12词语向量化并划分数据

importjieba

#分词，去除停用词，生成词汇表

withopen(../data/stopwordsHIT.txt,r)asf:

stopwords_list=[line.strip()forlineinf.readlines()]#加载停用词表并去重

vocab=[]#词汇表

forreviewinreviews:

text=review

#使用结巴分词库对文本进行分词

disease_List=list(set(jieba.cut(text)))

#去除停用词

filtered=[wforwindisease_Listif(wnotinstopwords_list)]

vocab.extend(filtered)#将分词结果加入词汇表

vocab=list(set(vocab))#去重

#将词汇表中的词语映射为数字ID

Vocab=dict()

Vocab.setdefault(,0)

f