基于改进频繁模式聚类算法网站结构优化.docVIP

基于改进频繁模式聚类算法网站结构优化 　　摘要：分析了现有频繁模式聚类算法的不足，提出了距离函数改进，并在模式聚类函数的基础上生成一个压缩的偏序（partial order）的算法（FCWSO算法）。实验结果显示该算法可以对频繁序列模式进行高效、高质量的压缩，可以得到数量更少、信息量更大的模式，从而提高发现的频繁访问序列的兴趣性。 　　关键词：数据挖掘； 频繁序列模式； 压缩； Web设计 　　中图分类号：TP311文献标志码：A 　　文章编号：1001－3695(2008)04－1222－02 　　 　　由于全球Web 站点数目迅速增长，Web 站点的信息量及其复杂度也在迅速上升，给用户访问增加了一定的难度。人们不得不借助关联规则、序列模式和页面聚类等Web日志挖掘工具来获得更深层次的用户访问信息。针对网站目前的访问信息，对网站的设计进行优化，建设一个更合理、更易用、注重个性化和相关性的网站成为研究的热点之一[1]。 　　?ハ钟械囊恍?Web站点设计方法中，提出了利用寻找用户频繁访问的页组来实现调整网站结构的算法。例如文献[2]是应用基于频繁项集的关联规则来找到频繁访问路径，以及称做关联规则的超图划分的聚类方法来进行URL集聚类，然后通过推荐引擎进行在线推荐。文献[3]提出了结合站点拓扑结构和Web页面内容的页面聚类改进算法以提高挖掘结果的兴趣性。文献[4]指出数据流频繁模式挖掘在Web中发现频繁模式，可以优化网站结构，提高网站性能。目前许多频繁序列模式挖掘及其更新算法已提出，如AprioriSome[5]、GSP[6]、SPADE[7]、ISE[8]、FASTUP[9]等。但是现阶段频繁序列模式挖掘，研究的瓶颈已不在挖掘的效率上，而是在其结果的可用性和可理解性上。当频繁序列模式的数量非常庞大时，人们很难从中挖掘有用的知识。为了解决这个问题，一个很自然的想法就是将挖掘出来的结果再进行精简压缩，从而可以得到数量更少、信息量更大的模式。 　　?ケ疚奶岢龅幕?于频繁序列模式压缩技术的网站结构优化算法（FCWSO算法），挖掘网站中被浏览者频繁访问的网页集合以及序列模式挖掘算法用于挖掘网站中频繁访问的页面序列，以发现隐藏在其中的用户访问模式，合理、有效地优化站点的结构，最终为用户提供一个方便快捷的信息获取环境。 　　 　　??1FCWSO算法概论 　　 　　?ケ舅惴ㄊ且凿?览者频繁访问网页形成的频繁序列模式为输入，将频繁序列模式总结成近似偏序。算法分两个步骤：a)充分考虑了时间和效率的关系，提出了一种高效的距离定义方法，并根据距离函数进行聚类；b)以简便、保持信息不丢失的方法生成偏序。本算法的主要目的就是希望能从序列数据中挖掘出更精简、更易理解的模式，并可排除部分噪声的干扰。 　　?ニ?谓偏序就是一个三维向量p=??（V,E,l）??。其中：??V是所有顶点的集合；E??V×V??是所有边的集合，通过边可以表示顶点之间的关系，它们是自反，反对称和传递的；??l??是从顶点到属性项的映射函数。在前面的例子中，用的均是单属性项，但也可以将一个顶点与一个属性集相映射。对于一个partial order p=??(V,E,l)??的传递约简就是将图中利用传递约简后删除边的最小关系集合。笔者用图形化的形式来表示这种传递约简后的模式，可以让它们更加容易被人理解。 　　 　　??2聚类算法 　　 　　??2．1距离函数 　　?ハ质档氖?据挖掘中，笔者能得到支持度大小信息。支持度反映的是一个模式支持的交易数量。在一定程度上，对于支持度大小相仿的模式，尤其是支持度均比较大的模式，如果支持度的大小相似，则这两个模式出现在同一条交易中的概率相对也是较大的。本文也考虑用支持度大小来聚类，其距离公式为 　　??D1（P1,P2）=｜‖T(P1)‖-‖T(P2)‖｜/??max??(‖T(P1)‖,‖T(P2)‖)??。 　　?ノ?了提高聚类效果，笔者考虑将序列模式本身的信息加入进来。因为序列本身的相似程度也隐含地反映了它们一起出现的概率。为了让产生的距离在不同长度的序列中具有可比性，文献[10]中定义了ApproxMAP算法。此算法的目的是在序列数据库中挖掘出更长的频繁序列模式，从而展现给用户更少的模式。它没有采用传统的模式精确匹配的方法，首先定义了两个模式之间的距离函数replace： 　　 　　?ゴ司嗬牒?数与雅可比系数(Jaccard coefficient)很相似，但它更注重两个模式之间的相同模式。当距离函数定义后，此算法可以将所有的序列模式进行聚类，然后对每一个group的序列利用multi align的方法，将一个group中的序列总结成一条有权重的序列。 　　 　　?ゲ捎谜飧鼍嗬牒?数，有效地将序