有效应用于中文电商评论的多标签分类方法.pdfVIP

摘要

近年来，数字经济的发展日新月异，越来越多的行业都在进行数字化转型，其

中变化最大的就是消费行业，大量的商店由原来的线下实体店转为入驻电商平台，

通过互联网进行商品的销售。与传统线下购物不同，用户在网购之后可以留下对商

品的评论，评论反映的是用户真实客观的购买体验。电商公司可以利用这些信息监

管不良商家，还可以将这些信息提供给消费者来帮助他们调整购买决策。因此，对

这些评论进行分析利用有着巨大的商业价值。

由于一条电商评论可以反应多个方面的属性，包括产品真实质量信息、用户使

用感受、物流和客服好坏等，也就是一个样本实例对应多个类别。所以本文首先设

计了基于深度学习的多标签文本分类算法FBSCF来挖掘出评论数据多个方面的属

性。FBSCF算法通过注意力机制解决文本中单词的远距离依赖问题，然后采用卷

积神经网络对文本的连续短距特征进行挖掘，最后通过特征融合模块将两部分信

息汇总。FBSCF在指标precision@K,recall@K,F1_score@K和Ndcg@k中取得都

取得了优于对比模型的结果。除此此外，本文还提出了FBSCF的改进算法ST-ML，

该算法利用了文本的句子级语义信息作为模型分类的辅助，性能相比于FBSCF有

进一步提升。本文评估指标K的值选用1，3，5，当K取3时结果最差，即使在

最差结果下，ST-ML算法在也能在上述指标中取得72.27%，97.80%，41.56%和

98.56%的结果。

此外，联邦学习能在保护各电商平台数据隐私的前提下带来更好的模型泛化能

力和精度，提升模型性能。但将联邦学习用于电商评论又会面临标签分布倾斜的问

题。因此本文提出算法FedSDFLD使得联邦学习可以在标签分布倾斜的场景下高

效适用于电商评论数据。该算法以优化后的ST-ML算法作为多标签分类基础算法，

并引入蒸馏学习和半监督学习，让FedSDFLD能够有效处理标签分布倾斜的问题。

FedSDFLD首先通过本地知识蒸馏约束本地模型训练，然后通过全局半监督集成

蒸馏保证在初始通信轮次获得可靠的教师模型。相比于联邦学习对比算法，

FedSDFLD在两种联邦学习场景下能够取得更好的性能。尤其是在困难联邦学习

场景下，FedSDFLD算法的性能和训练效率都得到了大幅提升。同样，即使在K取

3的最差结果下，FedSDFLD也能在指标precision@K,recall@K,F1_score@K和

Ndcg@k中取得77.07%，89.29%，41.37%和92.83%的结果。

关键词：深度学习，联邦学习，多标签分类，注意力机制，知识蒸馏

ABSTRACT

Inrecentyears,thedigitaleconomyhasdevelopedrapidly,andmoreandmore

industriesaretransformingtowardsdigitalization.Amongthem,theconsumerindustry

hasundergonethebiggestchange.Alargenumberofstoreshaveconvertedfromoffline

physicalstorestoe-commerceplatforms,andconductbusinessthroughtheInternet.The

saleofgoodsisdifferentfromtraditionalofflineshopping.Userscanleavecommentson

thegoodsafteronlineshopping.Thecommentsreflecttheuserstrueandobjective

purchasingexperience.E-commercecompaniescanusethisinformationtoregulate

unscrupulousmerchants,andcanalsoprovidethisinformationtoconsumersto