基于潜在语义索引的科技文献主题挖掘-计算机工程与应用.PDFVIP

Computer Engineering and Applications 计算机工程与应用 2014 ，50（24 ） 113 ⦾数据库、数据挖掘、机器学习⦾ 基于潜在语义索引的科技文献主题挖掘 刘 勘，朱芳芳 LIU Kan, ZHU Fangfang 中南财经政法大学 信息与安全工程学院，武汉 430073 School of Information and Safety Engineering, Zhongnan University of Economics and Law, Wuhan 430073, China LIU Kan, ZHU Fangfang. Research of topic mining for scientific papers based on LSI. Computer Engineering and Applications, 2014, 50 （24 ）：113-117. Abstract ：Based on a method improved by Latent Semantic Indexing, a topic mining for scientific papers is proposed. This paper describes a process which is used to mine the topics of the scientific papers. It performs conversion, removes non-alphabetic and stop word before further processing. It constructs the term-document matrix based on all words ’weight. It uses modified LSI algorithm to cut the dimension of the matrix and gets a new topic-document matrix. It takes the highest weight of the top five themes as the papers ’topic. This method utilizes the Frobenius norm to regulate matrix, reducing the dimension of the matrix. So the theme of the scientific papers can be mined quickly and accurately. Key words ：latent semantic indexing; topic modeling; scientific documents 摘 要：提出了一种基于潜在语义的科技文献主题挖掘方法，描述了科技文献的主题挖掘模型。对科技文献集进行 预处理，计算特征词权重，构造出词汇-文献矩阵。用改进的LSI 算法对稀疏矩阵进行降维得到固定的主题-文献矩 阵。取权重最高的主题作为该文献的主题。该方法利用Frobenius 范数来规范矩阵，对稀疏矩阵进行降维，可以快速 精确地挖掘出科技文献的主题。 关键词：潜在语义索引；主题挖掘；科技文献 文献标志码：A 中图分类号：TP311 doi ：10.3778/j.issn. 1002-8331.1305-0146 1 引言 2 相关研究 目前，科技文献的数量正呈爆炸式增长，这给科技 1983 年Gerard Salton 和Michael J.McGill[1] 提出的 文献的有效检索带来了巨大的挑战，人们花费在文献检 LSI 是目前常用的潜在主题建模方法。Scott Deerwester 索上的时间越来越多，却仍然感到很难快速精确地检索 [2] 等 将LSI 方法用于检索分析，假设文本中的词与词之 到所需要的科技文献。本文引入主题建模的思想，通过 间存在某种潜在的语义结构，采用