一种规则和贝叶斯方法相结合的文本自动分类策略.pdfVIP

一种规则和贝叶斯方法相结合的文本自动分类策略 刘静，尹存燕，陈家骏 (南京大学计算机软件新技术国家重点实验室 南京大学计算机科学与技术系，南京 210093) 摘要:文本自动分类技术是信息处理领域的重要研究方向，本文中在介绍文本分类应用以及 其关键技术的同时，讨论了几种文本分类方法，并且在对这些分类方法分析的基础上，提出 了一种规则和统计相结合的文本自动分类策略，该策略通过规则方法来放宽贝叶斯方法所要 求的强独立性假设条件，同时当规则不能满足时，可以通过贝叶斯方法来得到更好的分类结 果。 关键词：文本分类，向量空间，概率模型，规则 中国图书分类号：TP391 An Approach to Automatic Text Categorization based on the Combination of Rule and Bayesian Methods Liu Jing, Yin Cun Yan, Chen Jia Jun (State Key Laboratory for Novel Software Technology Department of Computer Science Technology, Nanjing 210093) Abstract: In recent years, Text Categorization has become an important task in information processing. This Paper introduces Automatic Text Categorization, including its applications and its critical techniques. Furthermore ,it describes several classification methods which are frequently used ,and suggests a new classification method based on analysis of these methods.In this new method, rule is used to loose the strong independent condition required by Bayesian method,and Bayesian method is used to combine with rule method to get a better classification result. Key words: Text Categorization ，Vector Space, Probability Model, Rule 1. 引言 近些年来，随着科学技术的迅速发展，特别是因特网的快速发展，电子文本数目迅速增 加。尽管从表面上看来人们可以得到比以往任何时候都多得多的信息，但是如果不对这些文 本进行有效地管理，人们将被这些庞大的信息所淹没，变得不知所措。因此，近年来人们一 直在研究对大量文本资料进行有效管理的方法，由此产生了文本的自动分类技术，它能够对 所获得的资料进行自动分类，帮助人们高效地管理文本资料。 文本分类的应用领域很广，其中包括对新闻出版按照栏目进行分类，可分为政治、体育、 军事等不同的主题；对于垃圾邮件的判定，类别为垃圾邮件和非垃圾邮件。同时，文本分类 技术还可以应用于自然语言处理或者信息处理领域的系统中，通过使用分类技术提高了系统 中某些方面的性能。例如，在分词系统中，需要进行词性标注，可以认为它是一个分类问题， 类别为名词、动词、形容词等；在信息过滤中，也可以应用分类方法，可以认为其分为两类： 用户感兴趣的文档和用户不感兴趣的文档。通过使用分类技术，使得这些系统中某些难题可 以有与以往不同的解决方案。 从技术上讲，文本自动分类就是在指定的主题类别下，自动确定新文本的所属类别。这 1 个设想在六十年代就被提出，但在九十年代以前，采用的方法一般都是基于规则的