面向短文本语义分析的标签条件神经主题模型.pdfVIP

802023，59（11）ComputerEngineeringandApplications计算机工程与应用

面向短文本语义分析的标签条件神经主题模型

1，211111

王嫄，鄢艳玲，徐茂玲，胡鹏，赵婷婷，杨巨成

1.天津科技大学人工智能学院，天津300457

2.普迈康（天津）精准医疗科技有限公司，天津300000

摘要：无监督机器学习方法中的神经主题模型已被广泛用于自动挖掘文本潜在语义。然而，短文本篇幅有限，文

中可用于推断的信息匮乏，模型难以在上下文不充分的情况下正确识别歧义词。为此，提出了一种面向短文本语义

分析的标签条件神经主题模型，模型采用变分自编码器架构，在编码器输出的主题分布上引入文本的标签信息，作

为主题类别级的语义标识符指导模型过滤与当前主题语义不相关的词、凝练语义并辨识歧义词在主题语境下的准

确词义，引导模型推断离散一致的主题。针对短文本应用过程中主题语义分布统计显著有偏的数据特点，在模型训

练过程中引入泰勒损失，通过调整泰勒多项式系数建模短文本类别分布不平衡。实验结果表明，该模型不仅能够极

大提高短文本主题建模的质量，生成连贯且多样的主题，而且能有效提升下游任务性能。

关键词：神经主题模型；短文本；泰勒损失

文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2206-0328

Label-ConditionalNeuralTopicModelforSemanticAnalysisofShortTexts

1，211111

WANGYuan,YANYanling,XUMaoling,HUPeng,ZHAOTingting,YANGJucheng

1.CollegeofArtificialIntelligence,TianjinUniversityofScienceTechnology,Tianjin300457,China

2.PopulationandPrecisionHealthCare,Ltd,Tianjin300000,China

Abstract：Neuraltopicmodelsinunsupervisedmachinelearningmethodshavebeenwidelyusedtoautomaticallymine

thetextforlatentsemantics.However,thelimitedlengthofshorttextandthescarcityofinformationavailableforinference

inthetextmakesitdifficultforthemodeltocorrectlyidentifyambiguouswordswithinsufficientcontext.Therefore,a

label-conditionalneuraltopicmodelforsemanticanalysisofshorttextsisproposed.Themodeladoptsavariational

auto-encoderarchitecture,whichintroducesthelabelinformationofthetextasasemanticidentifieratthetopiccategory

levelonthetopicdistributionoftheencoderoutputtoguidethemodeltofilterwordsthatarenotsemanticallyrelevantto

thecurrenttopic,condensethesemantics,andidentifytheexactwordmeaningsofambiguouswordsinthetopiccontext