基于BERT的方面级情感分析研究.pdfVIP

摘要

近年来，随着大数据技术的迅猛发展，通过挖掘和分析用户在互联网平台

上产生的大量文本数据，利用这些数据进行情感分析可以为政府以及企业提供

合理且科学的决策方案，因此文本数据的情感分析引起了学术界的广泛关注。

作为一项细粒度的情感分析任务，方面级情感分析可以得到文本中不同方面所

对应的情感极性，包括积极、消极和中性。然而准确挖掘不同方面的情感极性

在实际应用中情况较复杂，现有研究在分析方面级情感极性时忽略了方面词的

左右局部语义信息，影响数据集中情感极性识别的准确性。为此，本文提出了

一种多语义学习模型BEDSA-MSL，该模型以BERT预训练语言模型、依存句

法分析、注意力机制为基础，探究针对多语义的情感分析方法，以提升模型的

情感极性识别率。本文的研究内容主要为以下两点：

（1）提出了一种适应方面级情感分析的轻量级中文预训练语言模型

smallBERT。该模型主要从缩减参数和优化MASK方案两个方面进行改进。在

缩减参数方面，主要是在BERT基准模型基础上降低词嵌入维度和减少

Transformer层数，缩短了模型的预训练时间。为了优化MASK方案，在处理

中文维基百科语料时，针对语料中可能出现的部分英文单词，本文使用全词掩

码方案遮盖中文中出现的全部英文单词，使模型更好地适应中文情感分析任务。

同时在制作词典时增加了数字和特殊字符的替代符号，以降低无重要意义的文

本内容对情感分析任务的干扰。

（2）提出了基于BERT和依存句法分析的多语义学习模型BEDSA-MSL。

该模型设计基于轻量级中文预训练语言模型smallBERT，将输入的文本经词嵌

入矩阵映射为实值向量，经局部语义学习层以方面为中心提取左右局部语义向

量，通过方面感知层提取与方面关联度较高的注意力权重以生成方面情感向量，

经语义信息融合层将左右两侧文本的方面情感向量进行拼接，拼接的方面情感

向量经情感分类层得到方面情感极性。

对于smallBERT，文中与BERT基准模型进行对比实验，最后使用预训练

时间、AIchallenger语料情感分析Accuracy、500个样例预测时间对模型进行评

价，三个评价指标值分别为8天、85.27%、6.19s，相比于BERT基准模型，实

验结果均得到优化，验证了本文轻量级中文预训练语言模型的有效性。

对于BEDSA-MSL，本文在公开数据集上进行实验，同时与现有的方面级

情感分析模型进行对比实验，最终的Accuracy值在Restaurant、Laptop和AI

challenger2018数据集上达到了85.34%、81.24%和85.63%，MF1值在三个数

据集上分别达到了77.43%、76.81%和77.85%，皆优于对比模型，实验结果表

明本文设计的多语义学习模型具有实用性和可行性。

关键词：方面级情感分析；预训练模型；依存句法分析；多语义学习

Abstract

Inrecentyears,withtherapiddevelopmentofbigdatatechnology,bymining

andanalyzingthelargeamountoftextdatageneratedbyusersontheInternet

platform,theuseofthesedataforsentimentanalysiscanprovidethegovernmentas

wellasenterpriseswithreasonableandscientificdecision-makingsolutions,sothe

sentimentanalysisoftextdatahasattractedextensiveattentionfromtheacademic

community.Asafine-grainedsentimentanalysistask,aspect-levelsentiment