基于改进贝叶斯模型中文网页分类器.pdfVIP

基于改进的贝叶斯模型的中文网页分类器 基于改进的贝叶斯模型的中文网页分类器 秦兵 郑实福 刘挺 张刚 李生 （哈尔滨工业大学信息检索研究室，哈尔滨 150001） {qinb,zsf,tliu,bert,sli}@ 摘要 本文提出了一种改进的基于统计的中文网页的分类算法，通过对传统的基于计算相似度 文本分类方法和基于贝叶斯模型文本分类算法的研究，我们对贝叶斯模型分类算法进行了改 进，提出了利用类别密度函数似然比来增加特征词的可分性信息的算法。通过对计算相似度 方法，贝叶斯方法及改进的贝叶斯方法对比实验表明,改进算法可以最大化类与类的间隔， 因而具有较高的分类精确率和召回率。 关键字：似然比，贝叶斯方法，文本概率模型，网页分类 An Improved Bayes Classifier for Chinese Web Pages Qin Bing Zheng ShiFu Liu Ting Zhang Gang Li Sheng (Information Retrieval Laboratory, Harbin Institute Technology, Harbin, 150001) {qinb,zsf,tliu,bert,sli}@ Abstract This paper presents a modified statistic Chinese web page classification algorithm. Similarity based method and Bayes model based method are the popular approaches for text classification .In this paper, we modified Bayes model method, then uses the probability likelihood ratio of each class to increase the separability of feature words vectors .In the following method: Similarity based method, Bayes model based method, modified Bayes model based method . The experiment shows that among these methods, the modified algorithm not only presents the maximum distance between classes , but also improves precision and recall. Keywords: likelihood ratio, Bayes model, text probability model, web page classification 1. 引言 随着在线信息的迅速增长，对信息获取的速度和数量要求越来越高，使得文本分类成为 日益重要的研究领域。文本分类技术可以用在许多方面，信息过滤，建立个人信息档案，在 网上快速定位各类需要的信息等。 文本分类是将未知文本类别的文本自动划分到其所属的类别中。传统上，是由人来完 c 哈尔滨工业大学信息检索研究室论文集 第一卷○2003 成的，如果是用手工来将不断增加和变化的文本加入到主体分类中，将是非常费时费力的， 特别是 internet 上在线信息的增加，使自动文本分类作为信息处理领域的一个重要研究课 题，成为了当前的一个研究热点。 在目前的自动文本分类方法主要有两种：一种是类似于专家系统的基于规则方法，通 常需要手工建立规则库，并且修改起来非常困难。另一种是归纳学习方法，在已知类别的训 练