Web日志挖掘预处理中的用户识别技术.docxVIP

计算机科学2002V0129N9.4 Web日记发掘预办理中的用户辨别技术 UserIdentificationinthePreprocessmgofWebLogMining 吴.强.梁继民杨万海TP研A (西安电子科技大学电子工程学院西安7100711AbstractThetasksoftheWeb LogMiningpreprocessingareanalyzedandafunctionalmodelofittSpresented-Auser identificationmethodbased011cookietechnologyandextending WebLogattributesisproposedThemethodcandistinguisheffectivelythemultiple usersusingthesaF/leoneproxyserverandovertakethedffficuhiescausedbytheerasion olcookiesstoredontheuser’sfilesystem KeywordsWebLogMining.Preprocessing,Useridentilication.Cookie 1前言 互联网技术和应用的快速发展使得能够从因特嗍获得的信息量口益剧增,所以 急迫需要一种新的技术从这些信息中快速、实时地发现实用的知识.提升信息的利 用率。作为数掘发掘技术。11研究的一个重要领域.Web日记发掘(WebLogMining 是从服务器日记文件内大批的用户接见记录中抽取实用信息的过程.经过对Weh日 志的剖析.能够结构出用户的行为模式.关于剖析改良网络性能、优化网站的设计和 拓扑结构以及改良公司的市场营销决议等会有极大的帮助o。”。 目前web日记发掘领域的研究已获得了很大的进展.可是目前的研究要点多数 集中于发掘算法的设计、剖析和改良.对日记文件预办理方法的研究相对较少,但是 正确有效地对Web日记文件进行预办理.不单有益于随后的发掘算法剖析.并且关于 最后形成正确靠谱的用户行为模式也是极为重要的. 本文对Web日记发掘预办理所要达成的任哥进行丁剖析,提出r一个Web日记 预办理功能模型;剖析了现有Web口志预办理方法中的用户辨别技术.提出厂一种基 于cc,okie技术和扩大日记属性的用户辨别方法,这种方法不单能够有效地辨别经过 同一代理服务器接见的不一样用户.并且较好地解决了由用户删除本机cookit而产生 的同一用户多次被标示的问题。 2Web日记发掘预办理 一般的Web日记文件中记录的是每个接见用户的信息.不一样服务器的Web日记 记录是不一样的.但此中都包含有接见用户的基本信息. 表1显示的是四条Windows2000服务器的Web日记记录.此中包含:接见日 期、时问、用户lP地点、片j户名、服寻器IP地点、方法、所恳求URL资源、服 务器响应状态、用户代理、发送字节数等。 表1Windows2000服务器的Web日记 date s—port melhod200卜03— GⅡ200103—300653=0080GET G日 C5(User—Agent /papers.htm200Moralla/40+(compatible;+MSIE+50;+Windows+98;+DigExt /index.htm200Internet+Explorer+4.01 /inva/contestt200Mozilla/40+(compatible;+MSIE+501;+Windows+NT+50 /indexhtm200Internet+Explorer+4.01 Web日记文件记录中储存的是用户访同站点信息的原始记录.直接在这些数据 上边进行发掘是比较困难的.在使用算法或工具对其分折以前.一定进行顶办理. Web日记发掘的预办理阶段主要分为三步【.】:数据冲洗、用户辨别和会话识 别.此中摄重要的是用户辨别。一般的办理流程如图1所示。第一进行数据冲洗.目 的在于去除日记中不有关和无效的记录.往常有几种状况:(1一般状况下用户不会显 示恳求站点中的图形文件和页面款式文件.这些文件往常是站点依据恳求页面中的 连结自动下载的.所以只需CS—uri—stem项是以lPg、ipeg、JPG、JFEG、gi|、GIF 和CSS、IS等结尾的记录都能够删除;(z用户恳求接见失败的记录.这种接见的返回 代码为404(没有找到、301(永远删除或500(内部服务器错误等;(3用户恳求方法中 不是GEI的记录也能够删除。经过数据冲洗后获得净化的臼志。预办理的第二步 是 吴强硬士研吃生.主要研宽方向为数据发掘,网络安全等.集继民博士.副教授.主 要研究方向为信息融台、模式辨别等.杨万海教授.博士生导师