基于词组主题建模的文本语义压缩算法.pdfVIP

西南交通大学学报 Vo l. 50 No.4 第 50 卷第4 期 2015 年8 月 JOURNAL OF SOUTHWEST JIAOTONG UNIVERSITY Aug. 2015 文章编号: 0258-2724 ( 2015 )04-0755 -09 001: 10. 3969/j. issn. 0258-2724. 2015. 04. 027 基于词组主题建模的文本语义压缩算法 王李冬l ， 张 引 2 ， 吕明琪1 (1.杭州师范大学钱江学院浙江杭州 31∞18; 2. 浙江大学计算机科学与技术学院，浙江杭州 31∞12) 摘要:为了实现文本代表性语义词汇的抽取，提出一种基于词组主题建模的文本语义压缩算法 SC阿M (semantic compression based on phrase topic modeling). 该算法首先将代表性语义词汇抽取问题转化为最大化优 化模型，并通过贪心搜索策略实现该模型的近似求解.然后，利用词组挖掘模型 LDACOL 实现词组主题建模，得 到 SC阿M 算法的输入参数;同时，针对该模型中词组的主题分配不稳定的问题进行改进，使得取得的代表性语 义词汇更加符合人们对语义的认知习惯.最后，将改进 LDACOL 模型与 LDA 模型、LDACOL 模型以及 TNG 模型 的主题挖掘性能进行实验比较，并利用 SCPfM 算法针对不同语料库进行语义压缩，根据聚类结果评价其有效 性.实验结果表明，在多数情况下，改进 LDACOL 模型的主题抽取效果优于其他3 种模型;通过 SCPfM 算法抽取 代表性语义词汇能达到70% -1∞%的精度，相比 PCA 、 MDS、 ISOMAP 等传统降维算法能获得更高的聚类效果. 关键词:主题模型;代表性语义词汇;文本挖掘;语义压缩;SCPfM 中固分类号:T凹92 文献标志码:A Document Semantic Compression Algorithm Based on Phrase Topic 岛lodel WANG Lidong 1 , ZHANG Yin2 , LÜ Mingqi 1 (1. Hangzhou Normal University Qianjiang College , Hangzhou 31∞18 ， China; 2. College of Computer Science and Technology , Zhejiang University , Hangzhou 31∞12 ， China) Abstract: To extract representative semantic terms , a document SC PfM (semantic compression based on phrase topic modeling) algorithm was proposed. Firstly , SC PfM converts semantic terms extraction to the optimization model of maximization , and uses a greedy search algorithm to generate approximate solution. Then , in order to compute input parameters for SC PfM , phrase discovery model LDACOL was employed to extract important topics in phrase pattern. Meanwhile , the instability of