针对低资源场景下连续情感分析任务的持续注意力建模.pdfVIP

软件学报

ISSN

1000-9825,

CODEN

RUXUEWE-mail:

jos@

2024,35(12):5470−5486

[doi:

10.13328/ki.jos.007057]

[CSTR:

32375.14.jos.007057]

©中国科学院软件研究所版权所有.Tel:

+86-10

*

针对低资源场景下连续情感分析任务的持续注意力建模

张

涵,

王晶晶,

罗佳敏,

周国栋

(苏州大学

计算机科学与技术学院,

江苏

苏州

215006)

通信作者:

王晶晶,

E-mail:

djingwang@

摘要:

目前情感分析的研究普遍基于大数据驱动型模型,

严重依赖高昂的标注成本和算力成本,

因此针对低资源

场景下的情感分析研究显得尤为迫切.

然而,

存在的低资源场景下的情感分析研究主要集中在单个任务上,

这导致

模型难以获取外部任务知识.

因此构建低资源场景下的连续情感分析任务,

旨在利用持续学习方法,

让模型随时间

步学习多个情感分析任务.

这样可以充分利用不同任务的数据,

并学习不同任务的情感信息,

从而缓解单个任务训

练数据匮乏问题.

认为低资源场景下的连续情感分析任务面临两大核心问题,

一方面是单个任务的情感信息保留

问题,

另一方面是不同任务间的情感信息融合问题.

为了解决上述两大问题,

提出针对低资源场景下连续情感分析

任务的持续注意力建模方法.

所提方法首先构建情感掩码Adapter,

用于为不同任务生成硬注意力情感掩码,

这可

以保留不同任务的情感信息,

从而缓解灾难性遗忘问题.

其次,

所提方法构建动态情感注意力,

根据当前时间步和

任务相似度动态融合不同Adapter抽取的特征,

这可以融合不同任务间的情感信息.

在多个数据集上的实验结果表

明:

所提方法的性能显著超过了目前最先进的基准方法.

此外,

实验分析表明,

所提方法较其他基准方法具有最优

的情感信息能力和情感信息融合能力,

并且能同时保持较高的运行效率.

关键词:

情感分析;

低资源场景;

持续学习;

Adapter;

注意力机制

中图法分类号:

TP18

中文引用格式:

张涵,

王晶晶,

罗佳敏,

周国栋.

针对低资源场景下连续情感分析任务的持续注意力建模.

软件学报,

2024,

35(12):

5470–5486.

/1000-9825/7057.htm

英文引用格式:

Zhang

H,

Wang

JJ,

Luo

JM,

Zhou

GD.

Continual

Attention

Modeling

for

Successive

Sentiment

Analysis

in

Low-

resource

Scenarios.

Ruan

Jian

Xue

Bao/Journal

of

Software,

2024,

35(12):

5470–5486

(in

Chinese).

/1000-9825/

7057.htm

ContinualAttentionModelingforSuccessiveSentimentAnalysisinLow-resourceScenarios

ZHANG

Han,

WANG

Jing-Jing,

LUO

Jia-Min,

ZHOU

Guo-Dong

(School

of

Computer

Science

and

Technology,

Soochow

University,

Suzhou

215006,

China)

Abstract:

Currently,

sentiment

analysis

research

is

generally

based

on

big

data-driven

models,

which

heavily

rely

on

expensive

annotation

and

computati