Web用户访问聚类模式分析-计算机应用技术专业论文.docxVIP

1 1 第一章 绪论 1.1 课题背景 随着因特网的飞速发展，Web 资源已经成为人们获取信息和知识的重要途径。 Web 资源几乎覆盖了人们生产、生活的方方面面。 Web 给人们提供了极其丰富的 浏览信息和极大的便利性，人们也越来越依赖于 Internet。Web 的广泛应用也带来 了一个新的问题：随着用户访问需求的急剧增加和对信息的渴求， Web 站点的经 营者和管理者需要深入了解用户的兴趣所在，以给用户提供准确而有效的信息。 因此，有效地理解用户与网络的交互行为具有越来越重要的现实意义。 在 Web 提供的海量的 Web 资源中，隐藏了大量的有价值的知识。如何快速地 从海量的数据中提取有用的信息和知识，最终为用户提供有效帮助，已经成为一 个全新的研究领域，即Web 数据挖掘。Web 挖掘是指从 Web 服务器上的数据文件 中提取人们感兴趣的知识的过程。 Web 挖掘其实就是对文档的内容、可利用资源 的使用以及资源之间的关系进行分析，以实现对 Web 存取模式、Web 结构和规则 的分析，以及动态 Web 内容的查找。 Web 用户访问聚类模式挖掘技术作为 Web 挖掘技术的一个重要分支，被广泛 用于发现用户的浏览行为模式，如可以发现 Web 站点的关联关系、时序关系、页 面类属关系、用户类属关系和频繁访问路径、频繁访问页面等反映用户访问规律 及预期行为的模式知识，这些模式可以应用于个性化/推荐服务、资源优化/系统自 适应、信息服务智能化，以及系统流量分析等领域[1] [2]。这些应用对电子商务、电 子政务的有效实施具有重要的意义。 1.2 国内外的研究现状 Web 挖掘的概念被提出来后，引起了许多研究者的兴趣，他们从不同方面和 用不同方法对 Web 知识发现进行研究和探讨。 目前， 国际上对此领域研究主要集 中在：搜索引擎的设计、文件自动分类技术、关键词的自动获取、半结构化信息 的提取以及 Web 上新型应用的研究等。应用领域中通用的 Web 挖掘工具还比较 少，主要分为文本信息挖掘工具和用户访问模式挖掘工具。 数据挖掘是数据库研究、开发和应用最活跃的分支之一。其研究重点也逐渐 从发现方法转向系统应用，注重多种发现策略和技术的集成，以及多种学科之间 2 Web 用户访问聚类模式研究 的相互渗透。目前，世界上比较有影响的数据挖掘系统有：SAS 公司的 Enterprise Miner， IBM 公司的 Intelligent Miner， SGI 公司的 Set Miner， SPSS 公司的 Clementine， Sybase 公司的 Warehouse Studio， Rule Quest Research 公司的 See5， 由加拿大 Simon Frase 大 学“智能数据库系统研究实验室”与 DB Miner Technology 公司共同开发的产品 DB Miner 等[3]。 IBM 公司的 Intelligent Mine 具有典型数据集自动生成、关联发现、序列规律 发现、概念性分类和可视化显示等功能。它可以自动实现数据选择、数据转换、 数据挖掘和结果显示。若有必要，对结果数据集还可以重复这一过程，直至得到 满意结果为止。 与国外相比，国内对数据挖掘的研究稍晚，还没有形成整体力量。目前，国 内己有一些科研单位和高等院校开展了知识发现和数据挖掘的基础理论及其应用 研究，这些单位包括清华大学、中科院计算技术研究所、空军第三研究所、海军 装备论证中心等。 1.3 研究工作和意义 在日常的工作和生活中，产生了大规模的含有潜在价值的知识，利用数据挖 掘技术可对其进行提取，把这些知识转化成非凡的、有应用价值的，并且最终能 被用户理解的知识。这为提高市场决策能力、检测异常模式、预测未来趋势等提 供了依据。 随着 Internet 的普及，Web 服务在网络上得到了越来越广泛的应用。对于一 个 Web 站点来说，用户的每次访问都会在该站点的日志文件上留下相关的访问信 息。随着服务的持续进行，这些访问信息的数量可能会达到上万甚至上百万条， Web 站点的日志文件便形成了一个庞大的数据源。通过对这些访问信息的分析， 可以发现用户的主要访问兴趣、访问行为模式等重要的信息，从而帮助站点管理 者改善站点的服务质量。这些应用对电子商务、电子政务有着极大的促进作用。 本课题的研究重点是 Web 使用挖掘（Web Usage Mining）中的 Web 用户访问 模式挖掘（ Web User Access Pattern Mining ），通过分析 Web 的访问日志（Web Aaccess Log），抽取用户感兴趣的模式。采用 K 均值算法和蚁群算法分别对给定 的 Web 事务数