WebUsageMining.pptVIP

Web Usage Mining 张 凯 提纲 概述 Web Data Web Usage Mining Taxonomy and Project Survey 概述 Web Mining 可以分为三类： Web Structure Mining Web Content Mining Web Usage Mining Web Usage Mining是指使用数据挖掘技术从网络数据中发现使用模式。 应用领域：电子商务 Web Data 可利用的数据主要包括以下部分： 1). Content:页面的实际内容 2). Structure: 包括intra-structure和 inter-structure 3). Usage: 例如：Click Stream 4). User Profile:例如：registration data 和 customer profiles 数据源（一）服务器端收集 途径： 1) Web Log File 2) Packet Sniffing 技术 3) Web Page Content structure 4) Application Server 缺点： Cached Page View 没有办法记录 post 方法传出的重要信息不能收集 跟踪每个用户并不是一件容易的事 数据源（二）客户端收集 优点是避免了Cache和session identification,可以比较全面和准确收集到用户数据 Applet Script 缺点:不支持代理，功能会被用户关闭。 Modified browser （Mosaic和Mozilla) 缺点是需要吸引或强制用户使用 数据源（三）代理服务器收集 可以记录多个Client与多个Server之间的访问信息 数据提取 1.User 2.Page View(Click) 用户在某个时刻看到的浏览器中的内容 3.Click Stream 一组连续的page view 请求 4.User Session (transaction)用户的阶段性的click stream,可以跨多个服务器 5.Server Session 用户在某个服务器上的阶段性的click stream 6.Episode 用户session中的一段有意义的click stream 数据提取（续） Web Usage Mining的简要过程 预处理 使用数据预处理 内容和结构预处理 使用数据预处理（一） 只有IP Address ,agent ,server side click stream 数据用来标识用户和对话。主要问题有 Simple IP address/Multiple Server Sessions 如：ISP提供的Proxy server Multiple IP address/Single Server Session 如：有些ISP为用户的每一个请求随机分配一个IP Multiple IP address/Single User 如：一个用户使用多台机器 Multiple Agent/Single User 如：一个用户使用多个浏览器 使用数据预处理（二） 如何将每个用户的Click-Stream切分成一个个session。 尽管每个用户行为的精确信息经常存在于服务器日志里，有时还需要访问内容服务器。内容服务器为每个活动的session保留了状态变量，在URI里没有有关的信息(?) Cache:唯一可证实的方法是在用户端。 内容和结构预处理 解决两个问题： 1. Page的独特性表示方法 通过向量空间模型来表示Page内容 还可以通过聚类和分类的方法 2. Page 的内容和结构的量化形式 把Page的内容和结构形式化 Pattern Discovery Statistical Analysis Association Rules Clustering Classification Sequential Patterns Dependency Modeling Statistical Analysis 对Page Views,Viewing time 和navigational path的长度作频率，平均值，中值等统计分析。 网络流量分析工具可以提供统计信息，如： 最经常访问的网页 页面平均访问时间 一个站点的平均路径长度 还可以提供简单的错误分析，如：发现非授权的进入点和经常访问的死链接。 尽管缺乏深层次的分析