基于BERT模型的养老保险缴纳意愿情感分析_.pdf

摘要

人口老龄化是当下中国经济社会可持续发展的一大阻碍，也是全球所有发达国

家需要攻克的难题。而随着人口老龄化问题逐渐突出，养老问题也顺势成为社会关

注的焦点。在全球范围内，例如日本、意大利、德国等国家都已经或正在面临人口

老龄化的问题。在中国，这一趋势也愈发明显，老龄化给社会和家庭都带来了巨大

的压力，尤其是对养老保险制度的需求日益增强。近年来，一些与养老保险金相关

的新闻，诸如“养老保险金结余将在2035年耗尽”、“养老保险费率下调”、“渐

进式延迟法定退休年龄”等，种种消极信号使得90后、00后的公民产生了关于养

老保险缴纳的意愿动摇。同时，由于年轻人作为养老保险制度的重要参与者和未来

支撑力量，关注年轻人的养老保险缴纳意愿问题对于探讨应对老龄化挑战十分重

要。

根据本文研究主题选定从Bilibili视频网站中获取与养老保险相关的视频评论

数据，使用LDA主题模型剖析评论文本来研究年轻人对于缴纳养老保险的意愿。

首先对文本评论数据进行数据预处理，并进行可视化分析，通过主题分析模型确定

原始文本数据集的主题内容，得到7个主题，主要包括了年轻人认为目前养老保险

分配并不均匀；当代生活中各个方面的巨大压力降低年轻人缴纳养老保险意愿等。

这体现出年轻人对于养老保险的缴纳问题基本呈现消极态度，对缴纳的必要性并不

完全认可。

接下来对人工标注的部分数据集进行情感分类建模。由于该数据集标签类别不

平衡，因此采用过采样技术对样本标签类别进行平衡。在此基础上利用BERT预训

练模型对文本进行词向量表示，再选择逻辑回归、决策树、梯度提升树等机器学习

分类模型对评论文本进行训练和预测。最终得出BERT结合随机森林分类模型的性

能最优，并且辨认积极情绪的能力强于消极情绪。

为进一步探索深度学习分类模型在本文数据集上的表现，使用BERT和

TextCNN模型对有标签数据进行情感分类，得到该模型各个评价指标结果。将该模

型和上述机器学习模型效果进行优缺点对比和特点分析，得出最优分类模型为

BERT结合TextCNN模型。

关键词：养老保险情感分析LDA机器学习BERTTextCNN

III

Abstract

PopulationagingisamajorobstacletothesustainabledevelopmentofChinas

economyandsociety,andisalsoaproblemthatalldevelopedcountriesaroundtheworld

needtoovercome.Withtheagingofthepopulationgraduallybecomingmoreprominent,

theissueofoldagehasalsobecomethefocusofsocialconcern.Globally,countriessuch

asJapan,ItalyandGermanyhavebeenorarefacingtheproblemofpopulationaging.In

China,thistrendisalsobecomingmoreandmoreobvious,andaginghasbroughtgreat

pressuretobothsocietyandfamilies,especiallytheincreasingdemandforpension

insurancesystem.Inrecentyears,somenewsrelatedtopensioninsurancepremiums,

suchaspensioninsurancebalancewillbeexhaustedin2