- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
《自然语言处理技术》
PAGE2
《自然语言处理技术》
PAGE2
深入文本进阶处理
——基于LSTM实现情感分析
实训目标
熟练进行情感语料的读取,以及评论词语的向量化。
熟练使用torch库中的LSTM类构建LSTM模型。
熟练掌握LSTM模型接收训练数据进行训练的步骤。
熟练掌握LSTM模型预测效果测试的方法。
实训环境
环境
版本
说明
Windows10
64
电脑操作系统
Python
3.8.5
Python语言版本
pandas
1.3.0
主要用于数据读取、清洗等操作
NumPy
1.21.6
主要用于Python中的数值计算
jieba
0.42.1
主要用于文本分词
Gensim
4.2.0
主要用于检索文本、计算文本相似度、训练词向量、建模主题等
Matplotlib
3.3.0
主要用于数据可视化
PaddlePaddle
2.4.2
是一个深度学习框架,提供了高效的计算框架和优化算法
PaddleSpeech
1.2.0
主要用于语音和音频中的各种关键任务的开发
scikit-learn
1.0.2
广泛地用于统计分析和机器学习建模等数据科学领域
Librosa
0.8.1
主要用于分析一般的音频信号,是一个非常强大的Python语音信号处理的第三方库
NLTK
3.5
是一个常用的自然语言处理工具包,可用于文本处理、语义分析、词性标注等
SciPy
1.7.3
是一个科学计算工具包,可用于数学、科学、工程学等领域
pyttsx3
2.9.0
主要用于将文本转换成语音
实训说明
情感分析的数据来源为某电商平台的热水器评论数据,其中正面评论10677条,负面评论10428条。本任务的目的是通过构建模型识别各条评论的情感倾向,即情感分析,正面评论为1,负面评论为0。
情感分析基本流程如REF_Ref131514545\h图31所示。
图STYLEREF1\s3SEQ图\*ARABIC\s11情感分析流程图
实训步骤
读取正负情感语料
由于情感分析的目的是将数据划分为正面和负面标签,故需将正负语料的数据进行“贴标签”处理,正面评论标签为1,负面评论标签为0,读取语料数据如REF_Ref131514592\h代码31所示。
代码STYLEREF1\s3SEQ代码\*ARABIC\s11读取语料数据
importpandasaspd
#读取正负情感语料
dataset=pd.read_csv(../data/ChnSentiCorp_htl_all.csv).dropna()
df=dataset[[label,review]]
reviews=df.review.values.tolist()
labels=df.label.values.tolist()
reviews=df.review.values.tolist()
labels=df.label.values.tolist()
评论词语向量化
由于数据为评论文本的形式,不能直接用于建模,所以需要对评论数据进行文本的分词处理,计算每个词语出现的频次,将分词结果进行向量化,变为模型可以识别的数据形式。由于每一串索引的长度并不相等,所以为了方便模型的训练,需要将索引的长度标准化,这里每条评论取50个词作为标准。最后再将数据划分为训练集和测试集以便建模训练。将评论文本中的词语向量化,并划分数据,如REF_Ref131514664\h代码32所示。
代码STYLEREF1\s3SEQ代码\*ARABIC\s12词语向量化并划分数据
importjieba
#分词,去除停用词,生成词汇表
withopen(../data/stopwordsHIT.txt,r)asf:
stopwords_list=[line.strip()forlineinf.readlines()]#加载停用词表并去重
vocab=[]#词汇表
forreviewinreviews:
text=review
#使用结巴分词库对文本进行分词
disease_List=list(set(jieba.cut(text)))
#去除停用词
filtered=[wforwindisease_Listif(wnotinstopwords_list)]
vocab.extend(filtered)#将分词结果加入词汇表
vocab=list(set(vocab))#去重
#将词汇表中的词语映射为数字I
您可能关注的文档
- 自然语言及语音处理项目式教程 课件1.3.1-1部署Python开发环境.pptx
- 自然语言及语音处理项目式教程 课件1.3.1-2安装NLP常用的库.pptx
- 自然语言及语音处理项目式教程 课件2.2.2 中文分词.pptx
- 自然语言及语音处理项目式教程 课件2.2.2-3中文文本分词实例.pptx
- 自然语言及语音处理项目式教程 课件2.2.3-1词性标注.pptx
- 自然语言及语音处理项目式教程 课件2.2.3-1词性标注和命名实体识别.pptx
- 自然语言及语音处理项目式教程 课件2.2.4-1初识关键词提取.pptx
- 自然语言及语音处理项目式教程 课件2.2.5-1命名实体识别.pptx
- 自然语言及语音处理项目式教程 课件3.2.2-2文本向量化之Word2Vec.pptx
- 自然语言及语音处理项目式教程 课件3.2.2-4文本相似度计算.pptx
- 自然语言及语音处理项目式教程 实训指导 实训14 基于SVM实现新闻文本分类.docx
- 自然语言及语音处理项目式教程 实训指导 实训15 加载并预处理语音数据.docx
- 自然语言及语音处理项目式教程 实训指导 实训16 提取MFCC特征.docx
- 自然语言及语音处理项目式教程 实训指导 实训17 单句语音内容识别.docx
- 自然语言及语音处理项目式教程 实训指导 实训18 语音合成.docx
- 自然语言及语音处理项目式教程 实训指导 实训19 基于PaddleSpeech实现智能安防系统环境音识别.docx
- 自然语言及语音处理项目式教程 课件6.2.1-1语音识别.pptx
- 自然语言及语音处理项目式教程 实训指导 实训20 基于PaddleSpeech实现新闻自动播报.docx
- 自然语言及语音处理项目式教程 课件6.3.2-1复杂环境音识别实战.pptx
- 自然语言及语音处理项目式教程 课件7.2.2-1基于规则的语音合成算法.pptx
最近下载
- 安卓系统平板电脑使用步骤.doc VIP
- GB 55024-2022 建筑电气与智能化通用规范.docx VIP
- 【酒店运营SOP】花间堂 SOP前台服务标准操作流程手册.pdf VIP
- 金的人格铁的纪律主题班会.docx VIP
- 温控设备及电源科信smu02b v300r002c20监控用户手册.pdf VIP
- 聚焦核心素养,打造高效课堂——高效课堂系统实施方案.doc
- 《秋季养生》课件.ppt VIP
- 义务教育版(2024)五年级信息科技 第10课 猜数游戏有捷径 课件.pptx VIP
- 项目法人在建水利工程建设管理制度汇编.pdf VIP
- 中国工商银行YL分行个人理财业务发展研究的中期报告.docx VIP
文档评论(0)