基于Web日志的数据挖掘技术在Web机器人识别中的研究.pdfVIP

科学技术 基于Web日志的数据挖掘技术在Web机器人识别中的研究 王利源 (沈阳理工大学，辽宁 沈阳 l10000) 摘 要：数据挖掘是从大量数据中发现人们未知的、感兴趣的、隐藏的知识。数据挖掘web服务器 日志记录具有 良好的结构，非常有利于数据挖 掘。由TWeb~务器 日志记录具有 良好的结构，因此，作为web使用挖掘的一个分支，Web日志数据数据挖掘，具有独特的理论和实践意义。本文利用 决策树分类法，对web服务器上保存的web日志进行数据挖掘，通过对 日志中所保存的信息进行分析，总结出正常用户和Web机器人访问网页的模式特 点。 关键词：数据挖掘；Web日志挖掘；决策树 0．引言 的归纳推理算法之一，非常适合对Web日志的数据挖掘。 Web]~务器通常保存 了对Web页面的一次访 问的 目志项 (Web日 志)。它包括了所请求的URL，发出请求的IP地址和时间戳。对于Web 服务器，其上保存了大量的Web访问日志记录。对热点的Web站点每天 可以记录下数以百兆的记录，这些为数据挖掘提供了有关Web动态的丰 富的信息，因此研究复杂的Web日志挖掘技术是十分重要的。Web数据 挖掘技术，从Web日志中提取有用的模式，这些模式能够揭示站点访问 者的某些特性 [1]。 1．决策树的建立 Web机器人 (Web爬行者)是一个软件程序，它可以跟踪嵌入网页 中的超链接，定位和获取Internet上的信息。这些程序安装在搜索引 擎的入 口，收集索引网页必须的文档。在应用Web挖掘技术分析人类的 浏览习惯之前，必须过滤掉Web机器人的访问。 决策树是一种构建分类模型的非参数方法，它不要求任何先验建 设，不假定类和其它属性服从一定的概率分布[2]。它具有分类精度 SERVER／product．ptIp 高，生成模式简单，对噪声数据有很好的健壮性。是 目前应用最广泛 图1．Web会话 表1．web服务器日志样本 会话 IP ^ 时间戳 请求方法 请求页面 协议 状态 字节数 08／Aug／2013 1 221．200．133．49 10 GET http／www．syxmt．COIn．Cn HTTP／1．1 200 6424 ：15：21 2 22 08／Aug／2013 http／www．syxmt．com．cn／server／pr0duce． 1．200．148．53 10 GET ltTTP／1．1 200 1O18546 ：15：34 php 1 22 08／Aug／2013 1．200．133．25 10 GET http／www．syxmt．c0ncn／housing．php HTTP／1．1 200 41378 ：16：11 0g／Aug／2013 l 221．200．164，8 10 GET http／w~．syxmt．COLD．Cn HTTP／