web数据挖掘重点.pptVIP

Web Usage Mining;提纲;Web Mining 的分类[1][2]： 1.Content Mining 2.Structure Mining 3.Usage Mining ;1.1.1 定义(Jaideep Srivastava[1]);1.1.2功能;1.1.2功能;1.1.2功能;1.1.2功能;1.1.2功能;1.2 基本的过程;1.2 基本的过程;1.2.1 Data Gathering;1.2.1 Data Gathering;1.2.1 Data Gathering;1.2.1 Data Gathering;1.2.1 Data Gathering;1.2.2 Preprocessing;1.2.2 Preprocessing;1.2.2 Preprocessing;1.2.2 Preprocessing;1.2.2 Preprocessing;1.2.2 Preprocessing;1.2.2 Preprocessing;1.2.2 Preprocessing;1.2.2 Preprocessing;1.2.2 Preprocessing;1.2.2 Preprocessing;1.Data cleaning: *把log条目分割成对应的数据项目 *剔除图片或其它非page类的log条目 *剔除spider/agent的访问条目 *规格化URI *提取POST数据项;1.2.2 Preprocessing;2.User and Session identification:;在只有IP/Agent的情况下，我们假设User 和 Session 是等同*的:;3.Page View Identification:;Path Completion 解决由于Cache带来的问题路径不全的问题;4.Episode Identification:;Auxiliary-Media Episodes:;1). Page type Episode: 根据page view的类型来确定;2).Reference Length Episode: page view的类型是根据用户在此处停留的时间来确定。 停留时间相对长的，就认为是Media Page,停留时间短的则是一个Auxiliary Page;2). Maximal Forward Reference Episode[23,chen] 它的假设是：一个episode是访问某个Media page的一个最大深度的page view 引用路径，即从用户session的第一个page view开始，一直向前访问，直到有一个backward page view 出现;1.2.3 Pattern Discovery;1.2.3 Pattern Discovery;1.2.3 Pattern Discovery;1.2.3 Pattern Discovery;1.2.3 Pattern Discovery;1.2.3 Pattern Discovery;1.2.4 Pattern Analysis;1.3 原型系统和商用系统;IBM: SpeedTracer [17];WebLogMiner [14,15];Web Utilization Miner;2. Trends;PAKDD 2001;WEBKDD’2000;[16] 提出了Recommender系统的在E-Commerce领域内的发展机遇和挑战： 1）结合多种用户数据的,建立subtle recommender 系统 *Demographic Information 例如：register data *Purchase Data *Explict Rating 例如：用户对产品的评价 *Ownership Data 2)Recommender 系统和市场分析决策结合(*) 3）用户数据的共享 4) 道德问题 5）扩展性*;WUM技术与现有的E-Commerce系统集成;改造和构造新的算法，把原有旧的数据源（例如Web Log）和新的数据(Business Data)结合起来，用以发现新的Usage Pattern;在文[20][21]中把把用户的Tranversal Pattern和purchasing Pattern结合起来考虑，并构建了一个算法用以挖掘用户的large transaction pattern(使用规则来表示).;可能的切入点:提供完整的应用功能;;Conclusion;[1]Jaideep Srivastava,Robert Cooley, Mukund Deshpande,Pang-Ning Tan,Web Usage Mining: Discovery and Applications o