基于词间特征的神经网络主题模型研究.pdfVIP

基于词间特征的神经网络主题模型研究

摘要

主题模型是从非结构化文档集合中进行知识挖掘的常用方法之一，目前已经大量的

应用于常规文本建模。在文本特征降维、文本主题挖掘以及基于文本分析的推荐系统中，

都能够看到其活跃的身影。然而，由于现代社会节奏的不断加快，网络中的大量信息都

是以短文本的形式出现，如微博、朋友圈以及各类评论等，这给主题模型的发展带来了

新的挑战。

目前的主题模型大多数仅仅基于自身文本的词共现信息进行建模，而文本中的每个

词对于文章主题的影响力却是不同的。此外短文本本身语句较少，天然存在着文本特征

稀疏以及词共现特征稀疏的问题，该问题严重的影响了短文本主题建模的效果。针对以

上问题，本文将结合传统机器学习方法与卷积神经网络框架进行建模，最后通过神经网

络结构参数化。研究的主要内容如下：（1）引入词间特征。在文档建模过程中，对于每

个词，不再单独以词频作为特征权重，而是考虑到词间的相互关系，根据多种词间特征

表示出词对主题的影响力，并以此作为权重，在吉布斯采样过程的公式中引入选中的词

特征信息，结合词频进行建模。（2）优化词对构造算法。传统的词对构造算法为了补充

文档信息而将所有的单词两两组对，虽然一定程度上补充了信息，但大量的引入了噪声，

本文基于词间相似度等词间特征设计了一种自适应词对构造算法，根据动态阈值对生成

的词对质量进行把控，很好的控制了词对数量与质量的平衡。（3）多维卷积神经主题模

型MCNTM（Multi-dimensionConvolutionalNeuralTopicModel）的构建。MCNTM将文

档-主题矩阵以及主题-词矩阵嵌入到输入层中，在全局层面进行特征增强。在卷积层中，

同时采用不同大小的卷积核，捕捉了不同维度下文档的语义特征，并在更高的层次进行

拼接，在多种维度进行了特征增强，极大的丰富了短文本有限的特征信息。

本文通过引入词间特征、采用自适应词对构造算法以及多维文本特征提取的方式，

解决了短文本词共现特征稀疏的问题。实验结果表明，MCNTM在困惑度、文本分类准

确率和主题一致性等指标上都有了较为不错的提升。证明了本文提出的MCNTM的确

在一定程度上解决了短文本特征不足的问题。

关键词：神经主题模型；短文本；词间特征；自适应词对构造算法

基于词间特征的神经网络主题模型研究

Abstract

Topicmodelingisoneofthecommonmethodsforknowledgeminingfromunstructured

documentcollections,andithasbeenwidelyusedinconventionaltextmodeling.Itcanbeseen

activeintextfeaturedimensionalityreduction,texttopicmining,andrecommendationsystems

basedontextanalysis.However,duetothecontinuousaccelerationofthepaceofmodern

society,alargeamountofinformationinthenetworkappearsintheformofshorttexts,suchas

Weibo,circleoffriendsandvariouscomments,whichbringsnewchallengestothe

developmentoftopicmodels.

Mostofthecurrenttopicmodelsaremodeledonlybasedontheco-occurrenceinformation

ofwordsintheirowntexts,buteachwordinthetexthasdiffere