融合多模态常识知识的反事实类隐式情感分析研究与应用.pdf

摘要

反事实隐式情感分析是文本情感分析领域较为新颖且困难的研究热点之一，其

特点是通过陈述与实际情况相反的假设事实表达隐式情感。对其进行分析与研究，

有助于更好地理解人们对于未发生或不可能发生的假设事实的情感和态度，为心理

学和认知科学领域提供重要参考。但由于缺乏相关语料与知识资源以及建模技术的

局限性，反事实隐式情感分析的研究尚未得到足够的关注。为此，本文从语料知识

资源构建、建模表示方法和应用系统开发三个方面开展研究。

在知识资源构建方面，本文通过创建双语语料库和相应的多模态常识知识图谱，

拓展研究领域边界。该语料库基于反事实特征的启发式规则进行情感标注，构建了

一套可解释的反事实隐式情感语料库。同时，基于多模态大模型计算常识知识图的

语义相关度，建立了多模态常识知识图谱，为反事实文本的语义特征提供了丰富的

信息。

在建模方面，本文提出了一种反事实隐式情感分析多模态常识知识感知模型，

1

该模型由三个基本部分组成：（）分别使用基于大语言模型的自编码器和视觉编码

2-

器对反事实文本序列和关联图像进行语义编码；（）通过多模态常识知识图卷积网

络对多模态常识知识进行表示与蒸馏；（3）基于多层交互式注意力模型融合多模态

语义与常识知识，提升模型对反事实语义的深层理解能力。在本文构建的双语反事

实隐式情感分析数据集上的实验结果表明，本文提出的方法能够有效的建模反事实

语义并识别其中蕴含的隐式情感。

在应用系统开发方面，基于本文的理论研究成果，本文面向山西省旅游游记中

的反事实隐式情感，开发了一个面向旅游游记的反事实隐式情感分析系统，旨在为

系统用户提供一种准确、便捷的工具，用于深入分析游客游记中通过反事实陈述所

传达的隐式情感。

关键词：反事实隐式情感；隐式情感分析；语义融合；多模态知识

I

ABSTRACT

CounterfactualImplicitSentimentAnalysis(CISA)isoneoftherelativelynewand

difficultresearchhotspotsinthefieldoftextsentimentanalysis,whichischaracterizedby

expressingimplicitsentimentbystatinghypotheticalfactscontrarytotheactualsituation.

Theanalysisandresearchonitwillhelptobetterunderstandpeoplessentimentsand

attitudestowardshypotheticalfactsthathavenothappenedorcannothappen,andprovide

animportantreferenceforthefieldofpsychologyandcognitivescience.However,dueto

thelackofrelevantcorpusandknowledgeresourcesandthelimitationsofmodeling

techniques,theresearchofcounterfactualimplicitsentimentanalysishasnotreceived

enoughattention.Therefore,thispapercarriesoutresearchfromthreeaspects:the

constructionofcorpusknowledgeresources,themodelingrepresentationmethodandthe

applicationsystemdevelopment.

Intermsofknowledgeresourceconstruction,thispaperex