一种基于主题的Web文本聚类算法.pdfVIP

第29卷 第3期 成都大学学报(自然科学版) Vol1．29 NO。3 201O年 9Y] JournalofChengduUniversity(NaturalScienceEdition) Sep．2010 文章编号：l(D4—5422(2010)03—0249—04 一 种基于主题 的Web文本聚类算法 袁晓峰 (盐城师范学院信息科学与技术学院，江苏盐城 224OO2) 摘 要：设计了一种基于主题的Web文本聚类方法(HTBC)：首先根据文本的标题和正文提取文本的主题词向 量，然后通过训练文本集生成词聚类，并将每个主题词向量归类到其应属的词类，再将同属于一个词类的主题 词向量对应的文本归并到用对应词类的名字代表的类，从而达到聚类的目的．算法分四个步骤：预处理、建立主 题向量、生成词聚类和主题聚类．同时，对HTBC与sI℃、AHC、KMC算法从聚类的准确率和召回率上做 了比较， 实验结果表明，HTBC算法的准确率较 SIC、AHC和KMC算法要好． 关键词：HTBC算法；Web文本聚类；主题；搜索引擎；互信息 中图分类号：TI~91．1 文献标识码 ：A Clustering) ]．层次聚类算法的代表是会聚层次聚 O 引 言 类方法 (AHC)，它首先假设所有文本 自成一类，然后 随着计算机网络的高速发展，人们越来越依赖 将最相似的两类合并，并继续这一过程，直到将所有 于网络，而网络上信息剧烈的膨胀又会让人们觉得 文本合并为一类 ，因而可以形成一棵聚类树 ．AHC 在网络上寻找 自己想要的信息越发变得困难了．为 的优点是能够清晰地显示整个聚类过程 以及中间聚 了帮助人们更快地找到想要的信息，文本聚类技术 类方法．非层次聚类方法的代表是 K均值聚类方法 得到广泛的研究L1J．虽然 目前有许多文本聚类方 (K．Mea1坞)．K—Means是一种典型的基于划分的方法， 法，但是还很少有主题聚类的方法，而主题聚类的结 其基本原理是首先选择 k个文本作为初始的聚类 果更能让用户一 目了然．主题聚类的思想是根据文 点，然后根据簇中对象的平均值，将每个文本重新赋 本的主题来划分类别，将具有相同主题的文本归为 予最类似的簇，并更新簇的平均值，然后重复这一过 一 类．我们认为，Web文本的标题有助于主题的归 程，直到簇的划分不再发生变化． 纳，甚至有些文本的标题就是主题，例如我们搜索的 上述两种方法最主要的缺点是需要事先确定一 关键字序列为 世“界重新认识中国”，搜索引擎返回 个停止条件．比如，AHC要求事先确定所要聚成的 的结果中包含标题为 “汶川地震让世界重新认识中 类别数，而K．均值聚类则需要设定 K值．而上述条 国”的文本，这个标题就直接能反应文本的主题；而 件往往在实际应用中很难事先确定．此外，它们都不 有些就不能反应文本的主题，对此，还必须进一步从 能很好地描述和解释聚类的结果．再者，这些方法限 正文中抽取出文本的主题．基于此，本文提出一种基 定每个文本只能属于一个类，而没有考虑一个文本 于主题的Web文本聚类算法 (H】C)，同时，在实验 可能属于多个主题的情况． 中我们还将 HTBC与经典 的文本 聚类算法 (K． 后缀树聚类算法 3【(S )较好地克服了上述缺 Means、AHC、s11C)做了比较，实验结果表明，HTBC在 点．STC利用一种名为后缀树的数据结构来发现文本 聚类的准确率、召回率方面比传统的算法要好．