日志挖掘数据预处理过程研究.PDFVIP

第１２卷第２期 南 京 工 业 职 业技 术 学 院 学报 Ｖｏｌ．１２，Ｎｏ．２ ２０１２ ６ Ｊｕｎ． ２０１２ 年 月 Ｊｏｕｒｎａｌ ｏｆ Ｎａｎｊｉｎｇ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｉｎｄｕｓｔｒｙ Ｔｅｃｈｎｏｌｏｇｙ ， Ｗｅｂ 日志挖掘数据预处理过程研究 韩法旺 （南京森林警察学院 信息技术系，江苏 南京　 　 　 ２１００４６） 摘　 要：针对Ｗｅｂ 页面的访问日志对研究用户行为模式的重要性及Ｗｅｂ服务器上保存的大量访问日志的不完整性， 研究了Ｗｅｂ 日志的数据预处理过程，得出了一个数据预处理一般过程的模型。 Ｗｅｂ 关键词： 日志；数据预处理；用户识别；会话识别；路径补充 ＴＰ３１１　 　 　 　 　 Ａ　 　 　 　 　 １６７１ ４６４４ ２０１２ ０２ ００５３ ０４ 中图分类号： 文献标识码： 文章编号： （ ） 件进行预处理，将其转化为挖掘算法易于使用的、具 引言 ［４］ 有良好格式的数据 。 在 Ｗｅｂ 日志数据挖掘中，最直接的数据来源是 表２　 日志文件字段说明 Ｗｅｂ服务器。用户在访问 Ｗｅｂ 页面时，用户的访问 字段名称 字段说明 ｔｉｍｅ ＧＭＴ ＹＹ－ＭＭ－ＤＤ 行为信息被 Ｗｅｂ 服务器 自动记录并保存在访问 日 时间（ ） 日期，格式 ｄａｔｅ ＧＭＴ ＨＨ ＭＭ ＳＳ 日期（ ） 时间，格式 ： ： １ ［］ 志、引用 日志和代理 日志中 。由于 Ｗｅｂ服务器非 ＩＰ ｃ－ｉｐ ＩＰ 访问客户的 地址（ ） 客户端 地址 ｃｓ－ｕｓｅｒｎａｍｅ 常明确地记录了访问者的浏览行为，所以 Ｗｅｂ服务 客户名称（ ） 客户端发出请求的用户名 ｐｏｒｔ 器的访问日志成为 Ｗｅｂ 使用模式数据挖掘的重要 端 口号（ ） 客户端发出请求的主机端 口 ｃｓ－ｍｅｔｈｏｄ ２ 访问方法（