Web文本挖掘及其分类技术的研究.docVIP

Web文本挖掘及其分类技术的研究 　　[摘 要]本文以Web挖掘为基础。首先,从定义、功能、过程3方面介绍了Web内容挖掘中的文本挖掘;其次,重点探讨了Web文本挖掘的两种重要功能――分类及其它们常用的算法,并分别对算法做了比较;最后,得出结论并进行了展望。 　　[关键词]Web文本挖掘分类算法 比较 　　[中图分类号]TP311 [文献标识码]A [文章编号]1007-9416(2010)07-0074-02 　　 　　Research on Web Text Mining and Its Categorization 　　 　　Li Chuan 　　(Forein Trade and Business College of Chong Qing Normal University) 　　 　　[Abstract]This thesis bases on Web mining. Firstly, we presented text mining which is one kind of Web text mining in detail including its definition, function and process; Secondly, we studied two kinds of Web text mining’s important functions----categorization as well as their algorithms which are common in use, moreover, we compared these two kinds of algorithm respectively; Finally, we achieved our conclusion and made a prospect. 　　[Keywords]Web Text Mining;Categorization Algorithm; Comparison 　　 　　1 引言 　　Web文本挖掘是指从大量Web文档的集合C中发现隐含的模式P。如果将C看成输入,P看成输出,则Web文本挖掘的过程就是从输入到输出的映射σ:CP。 　　目前,Web文本挖掘可以实现对Web上大量文档集合的内容进行总结、分类、聚类、关联分析等功能,以及利用Web文档进行趋势分析等。 　　Web文本挖掘系统总体结构图如图1所示。 　　 　　2 Web文本挖掘的过程 　　Web文本挖掘的主要处理过程是对 Web上大量文档集合的内容进行分词处理、特征提取、结构分析、文本摘要、文本分类、文本聚类、关联分析等。图2[7]给出了基于Web的文本挖掘的一般处理过程。 　　Web文本挖掘可以同搜索引擎、信息推送、信息过滤等信息处理技术相结合,应用到知识管理、决策支持、商业智能等各个应用领域中,从而提高了信息的含金量。同时,我们知道在Web文本挖掘中,文本的特征表示是挖掘工作的基础,而文本分类和聚类是两种最重要、最基本的挖掘功能。因此在本文的后续部分,我们将重点探讨文本分类中分类和聚类这两大技术及它们常用的算法。 　　 　　3 文本分类及其常用算法 　　3.1 文本分类 　　Web文本的分类是指根据Web文档的内容,将大量的文档归到一个或多个类别主题的过程。从数学角度来看,文本分类是一个映射的过程,它将未标明类别的文本集合映射到已有的类别中,该映射可以是一一映射,也可以是一对多的映射,因为通常一篇文本可以同多个类别相关联。用数学公式表示为:θ:S→C,其中,S为待分类的文本集合,C为分类主题中的类别集合。 　　在文本分类中,训练方法和分类算法是分类系统的核心部分。目前,文本分类的许多研究致力于二元问题,但是有各种各样的文本信息数据源,比如网上新闻、电子邮件、数字字典,都是由不同的主题构成,因此构成了多种分类问题。其一般方法是将此工作分成不同的二元分类问题,对一个新文本划分,只是需要应用二元分类器及它们的联合形成一个决策,其缺点是忽视了不同类之间的联系。 　　3.2 常用的分类算法 　　3.2.1 基于统计的算法 　　(1)贝叶斯分类 　　常用的基于统计的分类算法有贝叶斯分类,当假设所有属性所起的作用都是独立的,并且对于分类问题每个属性所起的作用都是相等的,则有一种被称做朴素贝叶斯[1](nave Bayes)的简单分类方法。即若文档向量的分量为相应的单字在该文档中出现的频度(TF向量表示法),则采用该表示方法的文档属于c类文档的概率为: 　　其中P(c)为一个文档属于类的概率,P(FJ/c)是对类文档中特征FJ出现的条件概率的拉普拉斯概率估计,TF(FJ,c)是c类文档中特征FJ出现的