基于web日志的用户访问模式挖掘的分析-analysis of user access pattern mining based on web log.docxVIP

江苏科技大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权江苏科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于：(1)保密□，在年解密后适用本授权书。(2)不保密□。学位论文作者签名：指导教师签名：年月日年月日第1章绪论1.1课题研究的背景及意义1.1.1 课题研究的背景随着Internet技术的飞速发展，基于这一技术的应用以惊人的速度渗透到社会生活的各个方面，Web成为一个巨大的、分布广泛的、全球性的信息服务中心，Web上的数据迅速增长和不断更新。Web中包含了丰富的超链接结构信息、Web页面的内容信息、以及Web页面的访问和使用信息。有资料显示，Web上的数据正以每天新增一百万个页面的速度增长，但通常人们感兴趣的、希望获取的往往集中在有限的范围，如何在数据和信息之间建立起一种联系，从海量的数据中发现暗含的有价值的、事先不知道的、有潜在有用性的信息，需要数据挖掘技术来解决这一问题。同时，Web还具有自身的一些特点：规模大、页面复杂、动态性、用户群体多样化、有用信息之间关联性较低，将数据挖掘技术与Web结合起来，发现和利用Web上的资源和隐藏的、人们感兴趣的信息和知识，这就是Web挖掘关注的焦点。Web挖掘是数据挖掘技术在Web环境下的应用，是从因特网及其相关资源和行为中提取有用的模式和隐含信息，涉及Web技术、数据挖掘、信息学、计算机语言学等多个领域，是一门综合技术。从数据库角度出发，Web可以看作是一个数据库，每个站点就是一个数据源，每个数据源都是异构的，这样就组成了一个巨大的异构数据库环境。Web中的数据同时又是半结构化的，有一定的结构性，但却没有固定的模型，动态性极强。与Web信息检索技术相比，Web挖掘是一个更具挑战性的课题，它实现对Web存取模式、Web结构和规则，以及动态的Web内容的查找。一般来说，可以将Web挖掘分为三类：内容挖掘(Webcontent mining)、结构挖掘(Webstructure mining) 和使用模式挖掘(Web usage mining)。相比网页结构和内容，人们更关心的是用户的使用模式。因为Web在信息共享、电子商务和在线服务方面的广泛应用，许多企业已经建立网站用于发布信息，或在其他网站上为自己的产品和服务做广告，或在网上开展电子商务活动。用户是网站最大的财富，当需要考虑的是对用户的理解时，使用模式就是非常关键的。通过获取用户的访问模式，可以实现从优化网站设计到改善客户关系的一系列应用：根据访问者的行为模式来设计和修改网站结构和布局，让用户以最短的时间访问到感兴趣的页面，优化服务性能；理解和分析用户的浏览行为，发现潜在的用户并使用户驻留；通过对用户访问行为的把握，组织决策者可以更有针对性地设计商品目录，提高商业决策的准确性；发现个体用户的访问模式，从而识别出用户的兴趣、爱好、习惯和需求，建立个性化用户模型，为用户提供更个性化的内容和服务。为了获取更多的商业机会、赢得更大的市场份额、实现利润的增长，分析用户访问模式从而理解用户的行为，为用户提供个性化服务，对企业来说是至关重要的。Web服务器日志记录了用户与服务器的交互信息，反映了用户访问Web站点的所有动作。对Web日志进行分析挖掘，获得用户访问行为的模式和兴趣爱好等有用信息，从而理解用户的访问行为，解决这个问题最有效的工具是Web使用挖掘。1.1.2 课题研究的意义基于Web日志的用户访问模式挖掘有着重要的理论意义和实际价值，主要表现在以下几个方面：⑴发现潜在的用户并使用户驻留。为了使用户在自己的网站上驻留更长的时间，挖掘用户访问模式，理解和分析用户的浏览行为，从而了解客户的兴趣爱好及需求所在，动态调整Web页面，以满足用户的需要，吸引更多的用户。⑵改进站点设计，优化服务性能。站点的结构和内容是吸引用户的关键，根据访问者的行为模式来设计和修改网站结构和布局，例如基于关联规则挖掘用户频繁访问路径，挖掘用户浏览路径进行页面聚类，可以调整网站的链接结构，尽量使网站为大多数用户的访问提供方便。⑶提供在线推荐和页面预取机制。由于Web用户的增加和网络固有的延迟，用户对Web服务器的请求常常得不到及时的响应。为了提高服务质量，Web浏览器提供缓冲机制，把用户曾经访问过的Web页面保存在本地机器，以便减少再次获取该页面的时间，平衡网络的负载，提高响应速度。而Web预取机制却是对用户未来的请求进行预测，把用户可能访问的页面预先取回放在本地或代理服务器，当用户要访问这些缓冲过的页面时，就不必从远程服务器传输了，这样能大大减少用户等待的