基于Web文本挖掘的聚类技术的研究.pdfVIP

基于Web文本挖掘的聚类技术研究 李 凯 孙大鹏 穆筝 辽宁省通信管理局网络信息安全处 110036 摘 要:本文首先简要介绍聚类的概念，接下来引入一个检索后聚类算法所需要的特 性，并得到后缀树聚类算法，然后系统介绍后缀树的数据结构：它的定义、特征和算法结 构；最后从Web挖掘出发，通过抽取网页的层次链接文本，作为网页的类别信息，再利用 后缀树聚类技术对检索结果进行了动态层次聚类分析。利用后缀树及其算法可以高效率地 处理有关字符串以及英文文档聚类的问题。 关键词:Web文本挖掘 ; 搜索引擎 ; 后缀树 ; 聚类 1 聚类概述 聚类是把一组个体按照相似性归成若干类别，它的目的是使得属于同一类别的个体之 间的距离尽可能的小，而不同类别上的个体间的距离尽可能的大。聚类方法包括统计方法、 机器学习方法和神经网络方法。 在统计方法中，聚类称做聚类分析，它主要研究基于几何距离的聚类，如欧式距离、 明考斯基距离等；在机器学习中聚类称做无监督或无教师归纳。和分类学习相比，聚类的 例子没有类别标记，需要由聚类学习算法来自动确定，而分类学习的例子或数据对象有类 别标记；在神经网络中，有一类无监督学习方法：自组织神经网络方法，如Kohonen自组 织特征映射网络、竞争学习网络等。在数据挖掘领域里，神经网络聚类方法主要是自组织 特征映射方法，可以使用此方法对数据库进行聚类分割。 2后缀树算法 后缀树聚类算法是一种直观的文本聚类算法，它将文本聚类为一组的依据是文本含有 共同的短语，并且用短语来对聚类进行直观的描述。实际上是将文本看成词的序列，充分 利用了词与诃之间的距离信息。在寻找文本共同的短语的过程中使用了后缀树数据结构。 Oren Zamir首先提出了后缀树聚类算法，并且将这种技术运用到搜索结果的可视化中，取 得了很好的效果。 2．1后缀树及其相关定义 给出后缀树的定义：．一个具有In个词的字符串S的后缀树T，就是一个包含一个根节 点的有向树，该树恰好带有m个叶子，这些叶子被赋予从l到m的标号。每一个内部节 点，除了根节点以外，都至少有两个子节点，而且每条边都用S的一个非空子串来标识。 出自同一节点的任意两条边的标识不会以相同的词开始。后缀树的关键特征是：对于任何 叶子i，从根节点到该叶子所经历的边的所有标识串联起来后恰好拼出S的从i位置开始的 后缀，即S[i，…，m]。树中节点的标识被定义为从根到该节点的所有边的标识的串联。 扩展的后缀树定义：若干字符串组成的后缀树，称为一个扩展的后缀树：n个字符串 nln个叶子，每个叶 Sn，其中字符串的长度为ITIB，由这些字符串组成一个扩展的后缀树T 1到mk∑，它是一个包含一个根节点的有向树，该树每一个内部节点，除了根节点外，都 有两个子节点并且每条边都用一个非空的S中若干单词构成的一个子串来标识。并且出自 同一节点的任意两条边的标识的第一个单词不能相同。对于任意的叶子(i，j)，从根节点 到该叶子所经历的所有边的标识的串联恰好拼出后缀Si，该后缀从位置j开始，就是说它 们拼出了Si[j．一mi]。 后缀树聚类是将文本看做短语串而非词的集合的聚类方法，这样，可以更充分地使用 词语间的近似信息，达到更佳的聚类结果。 2．2算法的构建 构建长度为tTI的字符串S的后缀树，首先将后缀S[1…m]作为一条单边加入到树 中。然后将后缀S[i…m]加入到成长的树中，其中i从2增长到m。这个算法的细节如下 所示。 (I)让Ni表示中庸木，它把所有从1到i的后缀进行编码。 (2)树N1由一条从树的根到一个标有1的叶子间的单边组成。该边用字符串S来标 识。 (3)树Ni+l由树Ni来构造，过程如下： ①从Ni的根节点开始，运算规则发现从根开始的最长路径，并且该路径的标识要匹 根开始的一条唯一路径上的词，直到不能再匹配为止。 ②当没有更深一层的匹配时，运算规则要么到了一个节点，称为w，要么到了一条边 的中间。如果运算规则到了边的中间，称为(u，v)，那么它通过插入一个新的节点w把 (u，v)分成两条边。 ③新节点w加在该边的最后一个匹配词的后面(该边的标识要匹配后缀S[i+l…m] 的一个前缀)。 ④在两种情况下(原来有和没有节