基于特征增强的短文本分类研究.pdf

天津师范大学硕士学位论文

摘要

近年来伴随着数字经济及计算机技术的高速发展，逐渐出现了很多社交媒

体平台、电商平台，人们在平台上交流分享着各种消息，并且这些消息以短文

本的形式出现，这也就导致短文本形式的数据呈爆发式增长。因此对短文本数

据进行分析处理，挖掘出数据背后所包含的内涵，具有十分重要的现实意义和

应用价值，于是短文本分类就成为一个很有意义的研究方向。

短文本数据因其自身存在文字简短、文本噪声大的问题，故而导致在传统

的短文本分类过程中出现文本的特征表示稀疏、特征表达能力差等问题。为此，

本文以短文本类数据为研究对象，深入分析了短文本数据的特点，并对现有短

文本分类模型以及方法存在的不足进行了深度剖析，提出了两种特征增强模型

用于短文本分类，具体的工作可以概述为：

第一种是基于卷积神经网络的特征增强模型CNN-UN(CNN-unsample)。在

CNN-UN模型中，首先，利用多尺度的卷积神经网络提取不同语义特征的语义

特征；然后，本文提出了一种结合上下采样的特征增强方式，先利用上采样扩

充特征向量的方法来增强短文本的语义特征表示，接着对扩充后的特征利用下

采样卷积的方式进一步得到文本特征的深层表示；最后利用文本的深层关键特

征进行分类。

第二种是融合Bert模型和变分自编码器模型的特征增强模型Bert-VAE。在

Bert-VAE模型中，首先，利用预训练Bert模型获取丰富全面的文本特征表示；

然后，针对短文本存在的特征稀疏问题，利用变分自编码器生成增强样本特征

以及Bert编码特征的优良性能，进一步提高文本的特征表示性能；最终融合

Bert文本特征和增强特征预测文本类别。

综上所述，通过在新闻文本标题的分类数据集上的实验结果，证明了本文

提出的两种特征增强方式具有较好的性能，在一定程度上显著提升了模型在短

文本分类任务中的表现。

关键词：短文本分类；特征增强；上采样；Bert模型；变分自编码器

I

天津师范大学硕士学位论文

Astudyofshorttextclassificationbasedonfeature

enhancement

Abstract

Inmoderntimes,alongwiththehigh-speeddevelopmentofdigitaleconomyand

computertechnology,manysocialmediaplatformsande-commerceplatformshave

graduallyemerged,wherepeopleexchangeandsharevariousmessages,andthese

messagesappearintheformofshorttexts,whichhasledtotheexplosivegrowthof

dataintheformofshorttexts.Therefore,itisveryimportanttoanalyzeandprocess

theshorttextdatatofindouttheconnotationbehindthedata,soshorttextclassification

hasbecomeameaningfulresearchdirection.

Shorttextdatahastheproblemsofshorttextandnoisytext,whichleadstothe

problemsofsparsefeaturerepresentationandpoorfeatureexpressioninthetraditional

shorttextclassificationprocess.