基于预训练语言模型和双向门控循环单元的文本情感分析.pdfVIP

第41卷第3期数字技术与应用Vol.41No.3

2023年3月DigitalTechnologyApplicationMar2023

中图分类号:TP3;TN1 文献标识码:A 文章编号:1007-9416(2023)03-0052-03

DOI:10.19695/12-1369.2023.03.15

基于预训练语言模型和双向门控循环单元的文本情感分析

东北大学理学院数学系 李荣

随着网络信息技术应用范围不断扩大，网络信息量日益术中的辅助工具，在实际操作过程中，使用跳词模型等方

增多，为进一步加强对网络中文本的情感分析效果，本文对式生成连续的词量，并以单词为重点，预测和分析词语上

当前的文本情感句子层次进行分析，并提出基于预训练语言下文的含义及情感倾向。在跳词模型构建时，假设词语序

模型和双向门控循环单元的文本情感分析方式，通过构建深列为{,…,,…,}，其目标函数如式（1）所示：

w1wtwT

度学习网络模型，强化不同层次的文本训练和分析，提高模1T

ln(()（1）

型的实际应用效果，以期为相关人员提供几点参考。T∑∑pwt+jwt

t1cjc

=−≤≤

1文本情感分析概述门控循环网络（GRU）在运行过程中，其结构如

早期的文本情感分析中，主要通过情感词典的方式图1所示，其中系统通过利用更新门获取更多的特征信

[1]

进行加权求和，完成信息情感分析。但该方式主要对息，有效提高信息的利用效率。重置门的主要功能是控

情感词汇进行分析，忽视语义中的实际含义，从而使计制写入状态信息量，在重置门减小时，前一状态相关的

算结果可能存在一定的误差。当前文本情感分析时，主信息越少，在趋于0时，该重置对应的隐藏状态消失，

要通过深度学习的方式进行分析，通过构建神经网络模趋于1时，隐藏状态出现。

型，如卷积神经网络（CNN）、循环神经网络（RNN）等，2.2基于双向门控循环单元网络模型

对文本的情感进行分类，通过不同层次的分析，深度了基于Bi-GRU与CNN结合构建网络模型，分析文

解词句的情感表达情况，从而使文本信息更加真实有效。[3]

本情感趋势。提前对文本进行预处理，划分文本结构，

2