Web数据挖掘中频繁访问页组有趣性的研究_计算机论文.docVIP

Web数据挖掘中频繁访问页组有趣性的研究_计算机论文 Web数据挖掘中频繁访问页组有趣性的研究_计算机论文 摘 要 关联规则挖掘是Web使用挖掘的一个重要研究课题，而其中重要的一个问题就是挖掘出的规则的兴趣度评估。在实际的应用中，一般的关联规则算法往往很容易从Web数据源中挖掘出大量的规则，而这些规则中，大部分对于用户来说是不感兴趣的。本文结合网络站点拓扑结构，提出了有趣关联规则的算法（MIR）。利用页面之间的关联概率对所产生的频繁访问页组的有趣度进行评价，得到有趣度高的频繁访问页组。实验显示，MIR算法提高了规则的利用率，有效的改善网站拓扑结构。 关键词 有趣关联规则；页面关联概率；频繁访问页组1 引言 随着互联网技术的快速发展，如何在WWW数据中找到有用的信息，已经成为当今计算机技术研究的一个热点课题。Web挖掘是数据挖掘技术在互联网上的重要应用。它主要包含两大范畴：Web内容挖掘和Web使用挖掘。 关联规则挖掘是Web使用挖掘的一个重要研究课题。它的目的是找到网站资源访问记录中隐含的相互关系，能够发现隐藏的用户访问模式。本文着重讨论了有趣关联规则的挖掘。通过分析日志文件，我们可以寻找到那些经常被用户访问的页面及他们之间的关联规则（即频繁访问页组）。但是，这些挖掘的结果应该考虑到规则的有趣度。兴趣度低的规则对于网站的结构调整和整体设计无重大意义。在本文中我们认为一个兴趣度高的用户频繁访问页组满足三点： （1）页组内页面本身之间链接程度低。 （2）页组内尽可能包含多的页面。 （3）经常被用户在一次浏览过程中访问。 2 关联规则 关联规则的问题描述如下： 设R = { I1，I2，#8943，Im} 是一组物品集，W 是一组事务集。W 中的每个事务T 是一组物品，T R。假设有一个物品集A，一个事务T，如果A T，则称事务T 支持物品集A 。关联规则就是如下形式的一种蕴含：A →B，其中A，B是两组物品，A I，B I，且A ∩B 为空。则可用两个参数可信度和支持度来描述关联规则的属性，其定义如下： (1) 可信度(confidence) 。设W 中支持物品集A 的事务中，有c %的事务同时也支持物品集B，则称c %为关联规则A →B 的可信度。 (2) 支持度( support) 。设W 中有s %的事务同时支持物品集A 和B，则称s %为关联规则A →B 的支持度。显然可信度是对关联规则准确度的衡量，支持度则是对关联规则重要性的衡量。关联规则的挖掘问题就是在事务数据库D 中找出具有用户给定的最小支持度minsup 和最小可信度 minconf的关联规则。他可以分解为两个子问题： (1) 找出存在于事务数据库中的所有大物品集。物品集X 的支持度support ( X) 不小于用户给定的最小支持度minsup，则称X 为大物品集。 (2) 利用大项集生成关联规则。对于每个大项集A，若B A，B 不为空，且confidence ( B →( A - B ) ) ≥minconf，则构成关联规则B →( A - B) 。 网站资源可以是网页、数据、图片、声音和文档。设x1、x2、……xm；Y1、Y2、……Ym均为网站资源，X=gtY(sup，conf)表示资源集的关联规则，其中X={X1、X2……Xm}，Y={Y1、Y2、……Ym}，X∩Y=空，这条规则的含义是如果资源集X被访问，那么资源集Y也会被访问。规则的支持度为sup，置信度为conf，关联规则挖掘算法的目的就是要推导出所有达到一定支持度和置信度的规则。 但是，只使用支持度和置信度来描述关联规则是明显不足的，规则过多，用户不感兴趣，规则很难为用户服务和利用。这样的关联规则意义就不是很大。所以，结合网站的拓扑结构提出了MIR算法来增加挖掘规则的有趣性。 3 有趣关联规则MIR算法 3.1 页面之间的关联概率 在这里，假定超文本系统仅仅包含有一些基本的页面。除此外我们还假设：① 指向一个页面的连接是将这个页面作为一个整体来对待的，而不是指向页面内容的一部分；② 在超文本系统中不存在环路；③ 在任何源节点和目标节点间最多只有一条链路。基于以上的假设，我们可以为超文本系统建立一个有向网络拓扑图，如图1 所示：图1 网络拓扑图 在这里，有向图G=(N，E)，其中N 是节点的集合，E 是边的集合。一个节点A(A∈N)和一个页面相对应，一条边是一个元组(A，B)∈E，和页面间的一个连接相对应；对于给定的连接(A，B)称A是源节点，B是目的节点。在这里并不假定图是连接的。如果两个页面在网络拓扑中相距较远，则表明它们之间的关联性较低，如果我们从日志信息中挖掘出它们之间有较高的访问可信度的规则，则这样的规则是用户感兴趣的。如图1的页面C和E在拓扑结构