一种高效的用户浏览行为采集方法.pdfVIP

ComputerEngineeringandApplications计算机工程与应用 一 种高效的用户浏览行为采集方法 张玉芳，张艳华 ，熊忠阳 ZHANGYufang，ZHANGYanhua，XIONGZhongyang 重庆大学 计算机学院，重庆 400044 CollegeofComputerScience，ChongqingUniversity,Chongqing400044，China ZHANG Yu~ng，ZHANG Yanhua，XIONG Zhongyang．Efficientmethodforcollectinguserbrowsingbehaviors．Com — puterEngineeringandApplications，2013，49(3)：126—129． Abstract：Concerningtheproblem ofdatacollectinginmultiusersandmultiW ebsitesaccessenvironment，anew collecting andcleaningmethodisproposed．Networksnifferisusedtorecorduserbrowsingbehaviors；combinedwiththetraditionalclean— ingmethod，anew filteringmethodwhichisbasedontherefererrelationsofrequestsandtheintervalsofrequestsisdesigned，in ordertoremovethehugenumberofconcomitantrequestswhichgenerateconcomitantlywithuseractivity．Experimentalresults show thatthetechniquecaneliminateconcomitantrequestsandextractbaserequestswhichexplicitlyoccurbytheuserefficiently． Thesecanprovideaccuratedatasourceforbuildingtheuserprofile． Keywords：HypertextTransportProtocol(HTTP)request；browsingbehaviors；datacollecting；datacleaning；filtering 摘 要 ：针对在多用户、多Web站点的网络访 问环境下存在的数据采集问题 ，提 出了一种新的数据采集及清理方法。引入 网络嗅探的方式进行浏览行为数据的采集；在结合传统数据清理方法的基础上，提出一种利用HTTP请求间存在的引用和 时间关系来清除HTTP请求产生的大量的非用户显式点击的附带请求。实验结果表 明，该方法可 以有效地采集浏览行为 数据并清除大量的附带请求，抽取出能够反映用户显式点击的页面基请求，为用户浏览行为建模提供准确的数据源。 关键词：超文本传送协议(HTTP)请求；浏览行为；数据采集；数据清理；过滤 文献标志码 ：A 中图分类号：TP393 doi：103778q．issn．1002—8331．1108—0269 l 引言 集、客户级采集以及代理级采集”。。但是，这些采集方法 随着互联网上各种数据信息的不断剧增和Internet的 主要应用在单个Web站点的环境下。针对多个用户以及 广泛应用，使得如何从这些位于分布式环境下的海量数据 多个Web站点的网络访问环境，上述方法中可用的只有代 中挖掘和抽取潜在的、用户感兴趣的有用模式和隐藏的知 理级采集 。考虑到代理级采集方法不能准确地确定浏览 识则成为一个重要且非常有意义 的课题。Web使用挖掘正 用户 ，对访 问页面的采集不够全面 ，采集时问不准确等问 是 以此为 目标而产生的，即指能够从服务器、浏览器的日 题。本文则采用网络嗅探这一新的方法进行采集，此方法 志记录和个人信息中 自动发现和预测隐藏在数据中的模 在多用户 、多Web站点的环境下表现更好 。 式信息——用户群体的共同行为、兴趣以及个人用户的检 不论是传统的采集方法 (除客户端浏览器采集方式