Web日志挖掘中网站拓扑结构获取技术研究.docVIP

Web日志挖掘中网站拓扑结构获取技术研究 　　摘要：网站拓扑结构在Web日志挖掘中的数据预处理阶段起着十分重要的作用，因此数据预处理阶段的一个关键问题就是如何获取网站拓扑结构。该文提出了一种通过Web服务器的日志文件来获取网站拓扑结构的方法。其中包括获取过程中遇到的问题及解决方案、关键算法和网站拓扑结构的存储结构等。 　　关键词: 拓扑结构; Web日志挖掘; 数据预处理; 日志文件 　　中图分类号：TP311文献标识码：A文章编号：1009-3044(2011)01-0004-03 　　Research of Site Topology Structure Acquisition Technology in Web Log Mining 　　NIU Xiao-chen1,2 　　(1.School of Computer Science Technology,XiDian University, Xian 710071, China; 2.School of Computer Science Technology,Xian University of Posts Telecommunications, Xian 710121, China) 　　Abstract：Site topology structure plays an important role in the stage of data preprocessing in Web log mining. So the key factor of data preprocessing is how to acquire the information of the Web topology structure. This paper presents an approach to acquire the Web topology structure through the log files in web server, which includes the solution of some problem, the description of some key algorithms, and the storage of topology structure. 　　Key words：topology structure; web log mining; data preprocessing; log files 　　1概述 　　随着互联网的广泛应用，电子商务、网络教育越来越普及，海量的网络信息为数据挖掘提供了丰富的资源。Web日志挖掘是将数据挖掘技术应用于Web服务器日志文件上，以发现用户访问页面的模式，从中提炼出用户对页面的兴趣度和访问习惯等，进而改进网站的性能和组织结构，为用户提拱个性化服务。而网站的拓扑结构的获取与应用，将对Web日志挖掘第一阶段数据预处理中正确地进行用户识别、会话识别以及路径补充起到关键性的作用。 　　2 Web日志挖掘与网站拓扑结构 　　Web日志挖掘是数据挖掘的一个分支，因此其基本流程和数据挖掘非常相似，主要由三个阶段构成：数据预处理、模式发现和模式分析。其中数据预处理工作的质量好坏对挖掘结果影响很大，如果使用的样本数据质量偏低会导致挖掘结果与真实情况之间出现较大偏差。数据预处理工作主要包括数据清洗、用户识别、会话识别和路径补充等步骤，其中的用户识别和会话识别需要根据网站的拓扑结构确定某一个用户会话到达当前网页的路径，或是通过判断两个网页之间是否可达来区分不同的用户会话；而路径补充则需要根据网站拓扑结构将由于本地或代理服务器缓存而没有被Web日志记录的用户请求页面增加到相应的用户会话中。 　　由于在用户识别、会话识别和路径补充的过程中都需要网站的拓扑结构。所以，网站拓扑结构在整个Web日志挖掘过程中显得尤为重要，是决定整个Web日志挖掘系统的关键因素之一。 　　3 对网站拓扑结构的不同理解 　　在很多研究中，通常会把树形结构的网页文件目录层次比作网站的拓扑结构，这虽然简化了问题，降低了复杂度，但所获得的这种简单网站拓扑结构在很大程度上与实际拓扑结构不相符，因而由此结构得出的结论也是不准确的。 　　图1展示了一个简单的网站文件目录层次，而根据网页中的超链接得到的网络拓扑图要比这个文件目录层次复杂得多。将网络的拓扑结构抽象为有向图G=。其中V是所有网页的集合，称为“节点集合”；E是所有超链接的集合，称为“边集合”。有向边∈E（p,q∈V）表明从网页p到网页q有一个超链接，也就是说用户通过浏览器能从网页p访问到网页q。图2展示了一个实际的网站拓扑结构，这也是本文所要研究获取的拓扑结构。 　　当然，在