Web使用挖掘中数据预处理技术研究.pdfVIP

＼＼＼ Web使用挖掘中数据预处理技术研究 顾春华 ． 崔桂勇 (华东理工大学计算机科学与工程系 ，上海 200237) 摘 要：Web使用挖掘是 Web服务 器端预取技术研 究的一个重要方法，而数据预处理是 Web 使用挖掘的一个关键环节。提 出一种可用于提高数据预处理效率且在 同等条件下最终 能够提 高缓存命中率的数据预处理方法。实验证 明，这种方法是有效的。 关键词 ：Web预取技术 ；Web数据预处理；Web日志；web缓存命 中率 0 引 言 63．187．1．85一[02／Aug／2003：20：56：11—0400】”GET／schoob shanghaixinwen／title．JPg 数据预处理是 Web数据挖掘的基础．就是将原 HTIP／1．1”200 11164“http：／／shanghaikaoyan．com／school~ 始数据源转化为适合进行 Web数据挖掘 的形式 。数 shanghaixinwen／tongjijia．php’’ 据挖掘过程的工作量 60％都在准备上 Web使用挖 “Mozilla／4．0(compatible；MSIE4．01；WindowsCE)” 掘所需要的各种数据集 ．要通过预处理转换为相应的 其中第一项为客户端或代理服务器 IP：第二项为 抽象数据集 ，对数据源主要有两类不 同处理方法 ：一 浏览者标识 ．多数情况下为空白符 “”：第三项为浏览 类是将 Web使用记录 的数据 导入传统 的关系数据 者身份验证信息 ；第 四项为请求时间：第五项为用户 库 ．再进行数据预处理 ．然后使用数据挖掘算法对关 获得的Web对象 ：第六项是请求类型 ：第七项是状态 系表 中的数据进行各种挖掘 ，文献f41即使用此类方 代码 。表明请求是否成功，或发生了什么错误 ：第八项 法 ．此方法虽然操作简单 ．但需要将大批量 日志数据 表示发送给客户端 的总字节数 ：第九项表示引用页 进行转换 ．数据预处理整体效率不高 ：另一类是将 面：第十项表示客户端浏览器类型 ／操作系统 Web使用记录的数据直接预处理再进行数据挖掘 ．文 在综合各种数据预处理流程的基础上 ．下面给出 献 6『1使用此类方式进行预处理 ，此方法对数据处理不 我们设计的web数据预处理流程 ．以及每个步骤的实 灵活．数据存储不方便 另外，以上两类对数据预处理 现方法 图 1说明了Web使用挖掘数据预处理包拒 都会影响缓存命中率的提高 本文采用两者结合的预 数据清洗