融合BERT编码层的对比学习方面级情感分析.pdfVIP

与

信息技术信息化数据科学与技术

融合BERT编码层的对比学习方面级情感分析

1121,3*

徐凯池明得李建州张辉

摘要BERT的各个编码层输出是同一文本在不同向量空间上的表示，具有相似的语义信息，代表对文本不同

侧重的理解。然而，当前基于BERT的方面级情感分析只利用BERT最终层编码器的输出，存在低层级

编码语义利用不足的问题。针对此问题，提出一种融合BERT编码层的对比学习方面级情感分析模型，

通过引入自监督对比学习机制，利用BERT编码层的输出构建正样本和负样本来优化句子的特征表示，

对比学习引导模型学习融合中间编码层的语义信息。4个公开数据集上的实验表明，所提模型比其他基

F

线模型拥有更好的情感分类效果，相比BERT-SPC-CL，1分别提升2.14%、2.08%、1.07%、2.13%，

验证了所提方法在方面级情感分析的有效性。

关键词BERT；对比学习；方面级情感分析；自然语言处理

doi：10.3969/j.issn.1672-9528.2025.05.037

0引言1相关研究

情感分析，也称为意见挖掘或情感计算[1]，是自然语言当前，基于BERT预训练模型[3]的方面级情感分析已成

处理（NLP）和文本分析的一个重要分支，专注于识别、提为主流方法之一，其思想是将情感分析作为BERT的下游任

取和量化文本数据中的情感倾向与观点等信息。情感分析广务，并对该任务进行微调。Song等人[4]摒弃传统的递归机

泛应用在各个领域，包括产品反馈、个性偏好推荐、市场走制，通过多头注意力机制捕捉方面词与上下文之间的依赖关

势研究、舆情监控、金融服务等。系，解决了在复杂句法结构中难以精准定位目标方面与情感

情感分析根据研究对象的粒度分为粗粒度任务和细粒度触发词的问题。Zeng等人[5]通过对全局上下文和局部上下

任务[2]。粗粒度情感分析包括文档级和句子级，主要针对整文分别建模，提出局部上下文聚焦机制（LCF-BERT），解

个文档或句子进行情感倾向的判断。细粒度情感分析通常指决了多头自注意力机制存在局部信息丢失问题。Murtadha等

方面级情感分析，专注于识别文本中具体方面的情感极性，人[6]通过构造与原始评论相关的辅助句，并使用双编码器分

能提供更详细准确的情感信息。随着研究的深入，研究者发别对文本和辅助句进行编码，使BERT能更好地理解隐式情

现粗粒度情感分析难以处理包含多个方面和多种情感的复杂感。韩虎等人[7]认为合理的剪枝策略能有效减少在处理语法

文本。如在句子“智驾汽车的感知能力强大，但其体验不足”依赖关系和外部知识时的噪声干扰，并以特定方面为根节点

中，“感知能力”对应的语境情感是积极的“强大”，而“体重构依赖树，去除与方面语法距离较远的分支。戴薇等人[8]

验”对应的语境情感则是消极的“不足”。这种复杂文本促提出融合BERT与BiLSTM并引入指针生成网络（Span）的

使研究者更加关注方面级情感分析。方法来改进现有情感分