基于非负矩阵分解的中文文本主题分类.pdfVIP

第35 卷 第13 期 计 算 机 工 程 2009 年7 月 Vol.35 No.13 Computer Engineering July 2009 ·软件技术与数据库· 文章编号：1000—3428(2009)13—0026—02 文献标识码：A 中图分类号：TP391 基于非负矩阵分解的中文文本主题分类 张 磊，冯晓森，项学智 (哈尔滨工程大学信息与通信工程学院，哈尔滨 150001) 摘 要：提出基于非负矩阵分解(NMF)的中文文本主题分类方法，应用 NMF 算法分解词-文本矩阵获取词之间的相关性，有效地解决同义 词、多义词的影响。实验结果表明，与基于奇异值分解的潜在语义索引方法相比，该方法计算速度快、占用存储空间较少。在潜在语义数 据降低较大的情况下，NMF 方法具有更好的分类精度。 关键词：主题分类；非负矩阵分解；潜在语义索引 Topic Classification of Chinese Document Based on NMF ZHANG Lei, FENG Xiao-sen, XIANG Xue-zhi (Information and Communication Engineering College, Harbin Engineering University, Harbin 150001) 【Abstract 】This paper presents a method based on Non-negative Matrix Factorization(NMF) for Chinese document topic classification. According to NMF, the term-document matrix is decomposed to reveal the relationship between terms. This method solves the problem of synonym and polysemy effectively. Compared with Latent Semantic Indexing(LSI) based on Singular Value Decomposition(SVD), experimental results show that this method has faster computing speed and less memory occupancy. It can improve classification precision when the number of latent semantic index is reduced pronouncedly. 【Key words 】topic classification; Non-negative Matrix Factorization(NMF); Latent Semantic Indexing(LSI) 1 概述 据该词典，将文本投影到向量空间中，在此空间基础上，利 文本分类指在事先给定的主题下，根据文本内容自动确 用相应的分解算法将其映射到语义空间，进而构造分类器。 定文本类别的过程。向量空间模型 [1](Vector Space Model, 在分类过程中，把表示新文本的特征向量同样投影到语义空 VSM)是最常用的文本表示方法，但其存在 2 个问题：(1)VSM 间后，通过分类器进行分类。 仅考虑词频信息，缺乏语义层面的考虑；(2) 向量维数过大， 2.1 词典生成