P18_基于核主成分分析文本分类.pdfVIP

第二届全国信息检索与内容安全学术会议 基于核主成分分析的文本分类 1 1 1 薛永刚 ，朱靖波 ,魏刚 （1.东北大学自然语言处理实验室，沈阳 110004） 摘 要： 主成分分析是模式识别中经典的降维技术。本文尝试把它的一个变种算法——核主 成分分析，与k-NN分类模型结合，应用到文本分类中。核主成分分析方法通过选择合适的核函 数，利用词之间的高阶的关系进行特征抽取。实验结果表明，核主成分分析在英文语料 reuters21578上达到了潜在语义索引分类性能,而在中文863评测语料上微平均F1值比潜在语 义索引高2%。 关键词： 特征抽取; 核主成分分析; 潜在语义索引;k-NN ; 文本分类 Kernel PCA–based Text Categorization 1 1 1 Xue Yonggang , Zhu Jingbo , Wei Gang (1. Natural Language Processing Lab of Northeastern University, Shenyang 110004) Abstract: Principal Component Analysis (PCA) is a classical method for dimensional reduction. In this paper Kernel PCA, a variant of PCA, is used for text categorization combining with k-NN classifier. Kernel PCA can make good use of high-order correlations between words for feature extraction by selecting the proper kernel functions. The experimental results show that Kernel PCA works almost as well as Latent Semantic Indexing (LSI) over Reuters21578 while the micro-F1 of Kernel PCA is 2% higher than that of LSI over Chinese 863 Evaluating corpus. key words: Feature Extraction ; Kernel PCA ; LSI ; k-NN ; Text Categorization 基金资助：本文获得国家自然科学基金资助项目（微软亚洲研究院联合资助项和 ，和国家教育部科学技术研究重点项目（104065）资助 作者简介：薛永刚 （1979-），男，河北省，硕士生；朱靖波 （1973-），男，浙江，副教授，博士; 1 第二届全国信息检索与内容安全学术会议 1 前言 伴随互联网的迅速发展,电子文本的数量急剧增加。对于这些文本信息的获取和检索 变得越来越重要。文本分类,就是给自然语言文本添加主题类别标签[1]。已经有很多的统 [2] [3] 计分类方法和机器学习技术应用到文本分类中，如朴素贝叶斯 、k-Nearest Neighbors 、 支持向量机[4]等。