基于语义融合的短文本神经主题模型研究.pdfVIP

摘要

互联网进入web2.0时代以来，社交媒体作为用户之间交流的桥梁，每天产生数

量巨大的短文本信息，这些非结构化的短文本数据中蕴含着大量丰富信息，能用于反

应社会舆论、挖掘用户兴趣、建模用户情感。主题是蕴含在文本背后能够概括文本主

要中心思想的一组术语或关键字，可以准确的传递文本所要表达的含义。然而，在非

结构化的短文本数据中通常难以直接获取所期望的主题信息，而人工阅读文本分析主

题耗时又费力。因此，从这些海量非结构化的短文本数据中自动的挖掘出精简且有价

值的主题信息是非常具有研究意义和价值的。

主题模型能够以无监督的方式从原始文本中提取出文本的主题信息，神经主题模

型主要利用神经网络将单词和文本的潜在概率分布形式化为固定长度的向量空间。然

而，神经主题模型的方法应用于短文本存在局限性。短文本一般具有歧义性、稀疏性

和不规范性等特点。神经主题模型大多针对短文本稀疏性进行文本建模，较少考虑到

短文本的歧义性和不规范性。因此，针对短文本的特点，本文基于神经网络的基础架

构融合弱监督语义信息、自监督语义信息、外部语义信息缓解短文本的歧义性、稀疏

性、不规范性，并为其设计主题模型。具体地，本文的主要工作及创新点如下。

1)在应对短文本的歧义性时，现有神经主题模型无法有效利用文本的先验语义信

息，本文提出标签条件神经主题模型，该模型使用文本的类别标签信息作为文本的先

验信息，在神经主题模型的解码器重构文本向量时，指导模型生成与类别先验、主题

语义相关的文本向量，可以在特定语境中准确理解歧义词的含义，并推断出离散一致

的主题。此外，在模型训练中引入泰勒损失，缓解短文本类别分布不平衡的问题。实

验结果表明这种方法能够有效提升现有神经主题模型的主题连贯性和主题多样性。

2)在应对短文本的稀疏性时，现有神经主题模型中文本的稀疏表达导致生成的主

题质量不高，本文提出对比学习神经主题模型。该模型在标签条件神经主题模型基础

上融入自监督语义信息来缓解短文本稀疏性，主要利用对比学习的思想来学习样本数

据的特征表达。具体体现为在编码器生成的主题特征空间上划分正负样本，即与原始

文本语义相近的文本表示称为正样本，反之为负样本。对比学习通过损失函数着重学

习原始文本与正样本之间的共同特征，区别原始文本与负样本之间的不同之处。实验

结果表明，所提方法对比当前代表方法主题连贯度和主题多样性有进一步提升。

3)在应对短文本的不规范性时，现有神经主题模型无法准确表达细粒度词汇非正

交的语义信息，本文提出语义融合神经主题模型。该模型在对比学习神经主题模型基

础上融入外部语义信息来缓解短文本的不规范性，通过引入基于神经网络的词嵌入作

为外部语义信息，将语义相近的词在解码器重构文本向量时对齐到同一个嵌入空间

中。实验结果表明，所提方法能够有效提升主题模型对不规范表达的鲁棒性。

关键词：短文本；主题模型；神经网络；泰勒损失；对比学习；词嵌入；

ABSTRACT

SincetheInternetenteredtheweb2.0era,socialmedia,asabridgeforcommunication

amongusers,generatesahugeamountofshorttextinformationeveryday.These

unstructuredshorttextdatacontainalotofrichinformation,whichcanbeusedtoreflect

socialopinion,exploreusersinterestsandmodeltheiremotions.Atopicisasetoftermsor

keywordsembeddedbehindatextthatsummarizesthemainideaofthetextandcan

accuratelyconveythemeaningofthetext.However,itcanbechallengingtoextract

relevanttopicinformationfromunorganized,brieftextualdata,anditistime-consuming

andlaborioustoanalyz