通过弱化朴素贝叶斯假设提高朴素贝叶斯文本分类器的性能研究.pdfVIP

计算机科学2002V01．29No．8 通过弱化朴素贝叶斯假设提高朴素贝叶斯文本分类器的性能 thePerformanceof Naive TextClassifier Naive Improving Bayes Bayes Weakening Assumption through 张阳李战怀卢维扬 (西北工业大学计算机科学与工程系 西安710072) Inthis Abstract anewfeaturedefinitionwhichcanreflect paper，we present relationship among describedocument deft— words，and andfeatureselection forthisfeature representation algorithm this nition．Basedon feature ournaive classification definition，we present Bayes algorithm，naive isweakened its is inour Bayesassumption dramatically performanceimproved accordingly，and experiment． Text Keywords bayes mining，Naive 的特征‰，当i—j时，有：f1．，一(fi，fi)=fi，也就是说， 1 引言 CO特征定义可以完全表达传统特征定义中包含的 文本的自动分类在信息检索，信息过滤中起重 信息；当i≠j时，f：．j体现出fi，fj的相互依存关系，这 要作用。随着在线文本数据量的不断增长，对高性能 种信息用传统特征定义无法表达出来。 的文本分类工具的需求越来越迫切，文本自动分类 5文档表示方法 技术也随之不断完善。目前，文本分类的算法有：朴 素贝叶斯[1“]，支持向量机，决策树，神经网络，KNN 朴素贝叶斯文本分类器有两种模型，多元伯里 等。其中，朴素贝叶斯是一个性能优秀的分类器【2]。 利模型和多项式模型嘲。在多元伯里利模型中，文档 针对英文等西方语言的文本分类器，一般使用 of 被看成是特征的集合(setwords)，各个特征在文 单词作为特征[3]；针对中文等东方语言的文本分类 档中的相互位置，以及同一个特征在同一个文档中 器，可以使用