基于低秩约束的稀疏主题模型.pdfVIP

第 41卷 第 10期 计 算 机 科 学 Vo1．41No．10 2014年 1O月 Computer Science Oct2014 基于低秩约束的稀疏主题模型 刘 超 庄连生 俞能海 (中国科学技术大学信息学院 合肥230027) 摘 要 传统潜在语义分析模型所得到的主题空间映射矩阵往往比较稠密，不仅存储代价比较高，而且各个主题含义 不明确。针对该问题，提 出一种新的稀疏主题模型，该模型通过对映射矩阵施加稀疏性约束，使得每个主题只与少数 词项关联，来增加主题的可解释性；同时，通过对编码系数矩阵施加低秩约束，使得数据在主题空间中呈现出更好的聚 类特性。实验结果表明，基于该模型得到的主题空间更有利于分类，映射矩阵的存储代价更低。 关键词 主题模型，稀疏表示，低秩表示 中图法分类号 TP391．4A 文献标识码 A DOI 10．11896／j．issn．1002—137X 2014．10．021 STMLRC：SparseTopicModelwithLow RankConstraint LIU Chao ZHUANG Lian-sheng YU Neng-hai (SchoolofInformation，UniversityofScienceandTechnologyofChina，Hefei230027，China) Abstract TheproiectmatrixlearnedbyclassicLatentSemanticAnalysisisalwaysdense，which1cadstohighstorage costandunclearsemanticforeachtopic．Totacklethisproblem，anovelsparsetopicmodelwasproposedinthispaper． Byenforcingthesparsityofprojectmatrix，thenewmodelonlyselectsasmallnumberofrelevantwordsforeachtopic andhenceleadstOaclearsemanticinterpretation．Moreover，byenforcingthelow ranknessofencodingmatrix，datapro～ jectedinthetopicsubspaceshowsabetterclusteringfeatures．Experimentalresultshowthattopicsubspacelearnedby ournewtopicmodelisinfavorofclassification，andsignificantlyreducesthestoragecostofprojectmatrix． Keywords Topicmodel，Sparserepresentation，Low rankrepresentation 特征 向量构成的矩阵，S是 由奇异值构成的对角阵。然后， 1 引言 LSA取前K个最大奇异值及其对应的特征向量构成新的对 潜在语义分析 (LatentSemanticAnalysis，LSA)E ]是 目 角阵s—K和右特征向量矩阵 K。这里K是降维之后主题 前使用最为广泛的一个知识表示和数据降维方法 ，在文本挖 空间的维数。最后 ，投影矩阵被定义为A—S VT。该方法 掘、自然语言处理、信息检索等领域中有着广泛应用 。不 同于 虽然计算简单 ，但是却存在着如下几个重要缺陷：(1)利用 传统的空间向量模型，LSA假设文本中词与词之间存在着某 SVD分解构建的投影矩阵非常稠密，