SWLMS 一个We 日志挖掘系统.docVIP

SWLMS: 一个Web日志挖掘系统 杨怡玲1，管旭东1，陆丽娜2，尤晋元1 （上海交通大学 计算机系，上海 200030）1 （西安交通大学 计算机系，西安 710049）2 摘 要：Internet的发展带动了WWW的发展，继数据挖掘技术成功地应用于传统数据库领域之后，人们对基于Web的数据挖掘技术（简称Web挖掘）也开始进行研究。Web日志挖掘是将数据挖掘的技术应用于Web服务器上的日志文件，以发现用户的浏览模式，分析站点的使用情况。它可用于协助管理者优化站点结构，提高站点效率。在分析Web日志挖掘的困难及对策的基础上，给出了Web日志挖掘系统SWLMS的体系结构。具体介绍了SWLMS中日志的预处理过程，包括数据净化、用户识别、会话识别、路径补充的主要任务及其实现，并着重介绍了预处理之后的序列模式识别过程和算法，包括最大向前路径的识别和频繁遍历路径的发现，并给出了实验结果。 关键词：数据挖掘；Web日志挖掘；序列模式识别；最大向前路径 中图分类号：TP311.13 SWLMS: A Web Log Mining System YANG Yi-ling1， GUAN Xu-dong1， LU Li-na2， YOU Jin-yuan1 Dept. of Computer，Shanghai Jiaotong Univ.，Shanghai 200030，China1 Dept. of Computer，Xi’an Jiaotong Univ.，Xi’an 710049，China2 Abstract：Internet brings the wide spread of WWW. After the successful application of data mining (DM) technology to the traditional database domain, web mining, the application of DM to web data, begin to arise. In this paper, we mainly discuss web log mining, the application of DM to log data generated by web servers, which could assist the webmaster to optimize site architecture and increase visiting efficiency. Based on the analysis of difficulties and the corresponding solutions of web log mining, the architecture of SWLMS, our sample web log mining system is addressed. The data-preprocessing phase in SWMLS, including data cleaning, user recognition, session identification and path filling is discussed in detail. Then the sequential pattern recognition phase and its algorithms are presented, including the recognition of maximum forward paths and frequent traversal paths, with some experimental results presented. Key Words：data mining；web log mining；sequential pattern recognition；maximum forward path (Internet的发展带动了WWW的发展，继数据挖掘技术成功地应用于传统数据库领域之后，人们对基于Web的数据挖掘技术（简称Web挖掘）也开始进行研究。Web日志挖掘是将数据挖掘的技术应用于Web服务器上的日志文件，以发现用户的浏览模式，分析站点的使用情况。它可用于协助管理者优化站点结构，提高站点效率。 1 Web日志挖掘的困难和解决方法 Web服务器日志记录了用户访问本站点的信息。典型的Web服务器日志包括以下信息：IP地址、请求时间、方法（如GET）、被请求文件的URL、HTTP版本号、返回码、传输字节数、引用页的URL（指向被请求文件的页面）和代理。但是，由于本地缓存、代理服务器和防火墙的存在，使得Web日志中的数据并不精确，直接在其上