基于机器学习的中文文本分类技术研究.docVIP

基于机器学习的中文文本分类技术研究 　　摘要：基于机器学习的文本分类是近年来发展迅速并受广泛关注的数据挖掘技术。该文介绍了几种重要的文本分类方法例如贝叶斯、K最邻近和支持向量机。根据不同方法在不同数据分布状况的中文数据集上的分类表现，对比分析各方法的性能和优缺点。 　　关键词：中文文本分类；贝叶斯；K最邻近；支持向量机 　　中图法分类号：TP39 文献标识码：A文章编号：1009-3044(2011)21-5194-03 　　Research on Chinese Text Categorization Technology Based on Machine Learning 　　JIA Yu-sheng 　　(Sichuan University Computer College of Computer Science and Technology Department, Chengdu 610207, China) 　　Abstract: Machine learning in text categorization is developing rapidly in recent years and under extensive concern of data mining technology. This paper states several important text classification for example Bayes、K-Nearest Neighbor and Support Vector Machine. According to the different methods of different data distribution to a set of Chinese datasets classification performance, comparative and analysis the advantages and disadvantages of the algorithm. 　　Key words: Chinese text categorization; Bayes; K-nearest neighbor; support vector machine 　　信息时代互联网爆炸式增长的信息量，使得如何对广泛分布的信息进行有效的组织和管理，从中快速、准确、全面的获取所需的数据资源提出了极大的挑战。文本分类技术由此应运而生，是信息检索和数据挖掘领域的重要技术基础。文本分类是根据预先定义的类别标签，通过学习找到文本属性和文本类别之间的关系模型，对未标记的文本进行类别判断。 　　经过长期的研究和应用，基于机器学习的文本分类算法主要有朴素贝叶斯（Na??fve Bayes）、K最邻近（K-Nearest Neighbor，KNN）、支持向量机（Support Vector Machine，SVM）、决策树、遗传算法、神经网络等，算法种类较多并在不断的完善和改进。其中Bayes、KNN、SVM等算法分类效果较好，受到广泛关注。 　　之前的研究主要针均匀数据分布的数据集上的文本分类，忽略了数据集分布状况的影响[1-3]。而本文根据不同分类算法在不同数据分布的中文数据集下的分类表现，观察数据集分布状况对分类效果的影响。总结不同性质数据集分类所适用的分类方法，为具体的应用提供可参考的依据。 　　1 基于机器学习的文本分类方法 　　文本数据通常是半结构或非结构化的，而计算机不能直接对文本数据进行计算，需转化为可计算模型。最常用的文本表示模型向量空间模型( Vector SpaceModel，VSM)，在VSM中，文本经过分词程序分词后，首先去除停用词，然后统计词频，最终表示为向量形式。此外，将文本简化为所谓的BOW(bag of words)，忽略一个文本的语序、语法和句法，将其仅仅看作是词的集合或组合，其中每个词是相互独立的。目前，BOW已经成为文本分类的常用模式。 　　1.1 朴素贝叶斯（Na??fve Bayes） 　　Na??fve Bayes分类方法是一种概率模型算法，假定给出的各个文档属性特征相互独立。算法首先计算特征词属于每个类的先验概率，对为标记的文本，再计算其后验概率，并取最大值作为分类类别。具体如下： 　　 (1) 　　 (2) 　　 (3) 　　其中，di为任一文档， C={c1, c2,…,ck}为文档类中的某一类cj。 　　Na??fve Bayes算法较为简单，计算参数较少，稳定性较高。但由于算法基本前提是假设属性特征之间相互独立，而在现实中并不总是符合前提条件，致使误差率较高，分类准确率较低。 　　1.2 K最邻近