Web数据挖掘中频繁访问页组有趣性的研究.pdfVIP

Web 数据挖掘中频繁访问页组有趣性的研究 摘 要 关联规则挖掘是 Web 使用挖掘的一个重要 研究 课题，而其中重要的一个 问题 就 是挖掘出的规则的兴趣度评估。在实际的 应用 中，一般的关联规则算法往往很容易从 Web 数据源中挖掘出大量的规则，而这些规则中，大部分对于用户来说是不感兴趣的。本 文结合 网络 站点拓扑结构，提出了有趣关联规则的算法（MIR）。利用页面之间的关联 概率对所产生的频繁访问页组的有趣度进行评价，得到有趣度高的频繁访问页组。实验显 示，MIR 算法提高了规则的利用率，有效的改善网站拓扑结构。 关键词 有趣关联规则 ；页面关联概率；频繁访问页组 1 引言 随着互联网技术的快速 发展 ，如何在WWW 数 据中找到有用的信息，已经成为当今 计算 机技术研究的一个热点课题。Web 挖掘是数据 挖掘技术在互联网上的重要应用。它主要包含两大范畴：Web 内容 挖掘和 Web 使用挖掘 。 关联规则挖掘是 Web 使用挖掘的一个重要研究课题。它的目的是找到网站资源访问 记录中隐含的相互关系，能够发现隐藏的用户访问模式。本文着重讨论了有趣关联规则的 挖掘。通过 分析 日志文件，我们可以寻找到那些经常被用户访问的页面及他们之间的关 联规则（即频繁访问页组）。但是，这些挖掘的结果应该考虑到规则的有趣度。兴趣度低 的规则对于网站的结构调整和整体设计无重大意义。在本文中我们认为一个兴趣度高的用 户频繁访问页组满足三点： （1）页组内页面本身之间链接程度低。 （2）页组内尽 可能包含多的页面。 （3 ）经常被用户在一次浏览过程中访问。2 关联规则 关联规则 的问题描述如下： 设 R = { I1 ，I2 ，⋯，Im} 是一组物品集，W 是一组事务集。W 中的每 个事务 T 是一组物品，T R。假设有一个物品集 A ，一个事务T ，如果A T ，则称事务T 支持物品集 A 。关联规则就是如下形式的一种蕴含：A →B，其中 A ，B 是两组物品，A I ，B I ，且A ∩B 为空。则可用两个参数可信度和支持度来描述关联规则的属性，其定义 如下： (1) 可信度(confidence) 。设 W 中支持物品集 A 的事务中，有 c %的事务同时也 支持物品集 B ，则称c %为关联规则 A →B 的可信度。 (2) 支持度( support) 。设 W 中有 s %的事务同时支持物品集 A 和 B ，则称s %为关联规则 A →B 的支持度。显然可信度是 对关联规则准确度的衡量，支持度则是对关联规则重要性的衡量。关联规则的挖掘问题就 是在事务数据库 D 中找出具有用户给定的最小支持度 minsup 和最小可信度 minconf 的 关联规则。他可以分解为两个子问题： (1) 找出存在于事务数据库中的所有大物品集。 物品集 X 的支持度 support ( X) 不小于用户给定的最小支持度 minsup ，则称X 为大物品集 。 (2) 利用大项集生成关联规则。对于每个大项集 A ，若B A ，B 不为空，且 confidence ( B →( A - B ) ) ≥minconf，则构成关联规则 B →( A - B) 。 网站资源可以是 网页、数据、图片、声音和文档。设 x1、x2、……xm ；Y1、Y2、……Ym 均为网站资源 ，X=Y(sup ，conf)表示资源集的关联规则，其中 X={X1、X2……Xm} ，Y={Y1、Y2、 ……Ym} ，X∩Y=空，这条规则的含义是如果资源集X 被访问，那么资源集 Y 也会被访问 。规则的支持度为 sup ，置信度为conf ，关联规则挖掘算法的目的就是要推导出所有达到 一定支持度和置信度的规则。 但是，只使用支持度和置信度来描述关联规则是明显不足 的，规则过多，用户不感兴趣，规则很难为用户服务和利用。这样的关联规则意义就不是 很大。所以，结合网站的拓扑结构提出了 MIR 算法来增加挖掘规则的有趣性。3 有趣关 联规则 MIR 算法 3.1 页面之间的关联概率 在这里，假定超文本系统仅仅包含有一些基 本的页面。除此外我们还