第12章 数据挖掘应用Chapter 12 Applications of Data Mining课件.pptVIP

用户对话识别 15:33:04/2-Jan-01 GET Index.htm /res.php 15:33:04/2-Jan-01 GET 1.htm /index.htm 15:33:04/2-Jan-01 GET A.htm /index.htm 15:35:11/2-Jan-01 GET B.htm /A.htm 15:30:01/2-Jan-01 GET Index.htm /link.htm 15:30:01/2-Jan-01 GET 1.htm /index.htm 15:30:01/2-Jan-01 GET A.htm /index.htm 15:37:09/2-Jan-01 GET E.htm /C.htm 15:35:11/2-Jan-01 GET C.htm /A.htm Mozilla/4.0(IE5.0W98) User1: Mozilla/4.0(IE4.0NT) User2: 精品 页面视图识别 1-A /res.php B A.htm 1-A /link.htm E C.htm 1-C A.htm Mozilla/4.0(IE5.0W98) User1: Mozilla/4.0(IE4.0NT) User2: 精品 路径补全 解决由于Cache带来的问题路径不全的问题 精品 数据挖掘 统计分析 频繁项集和关联规则 聚类分析和分类 序列模式 精品 统计分析 主要用于改进系统的性能、设计等 包括： 1) 最频繁访问的页面 2) 每个页面的平均访问时间 3) 通过一个站点的平均时间 精品 频繁项集和关联规则 可以寻找出经常频繁访问的page组， 可用于修改Web 站点的设计或提前缓冲页面，改进系统的性能。 精品 包括两方面的应用： *user 用于Market segmentation(市场分割)和个人内容定制 *page(content) 后者主要用于IR和冲浪辅助 聚类和分类 精品 序列模式 可用于用户的 visit pattern.包括： 1.趋势分析 2.拐点检测 精品 模式分析 目的是根据实际应用，通过用户的选择和观察，把发现的规则、模式和统计规律转换为知识。 Visualization 精品 流数据挖掘 流数据简介 流数据频繁模式挖掘简介 流数据频繁模式挖掘算法 精品 数据流简介 概念 一系列连续且有序的点组成的序列 x1,…, xi, …, xn,称为数据流；按照固定的次序，这些点只能被读取一次或者几次 特点 大数据量，甚至无限 频繁的变化和快速的响应 线性扫描算法，查询次数有限 random access is expensive 精品 DBMS 与 DSMS 持久的关系 One-time queries 随机的访问 “无限”的磁盘空间 当前状态有效 相对较低的更新率 很少“实时服务” 假定数据精确无误 访问策略由查询处理器在数据库设计时确定 瞬间的流 连续的查询 序列化的访问 有限的主存 数据的到达顺序是关键 数据传输率未知 实时响应 过时/模糊的数据 变化的数据及数据量 精品 Scratch Space (Main memory and/or Disk) User/Application Continuous Query Stream Query Processor Results Multiple streams DSMS 精品 DSMS Scratch Store DSMS Input streams Register Query Streamed Result Stored Result Archive Stored Relations 精品 目前的DSMS项目 STREAM (Stanford): A general-purpose DSMS Cougar (Cornell): sensors Aurora (Brown/MIT): sensor monitoring, dataflow Hancock (ATT): telecom streams Niagara (OGI/Wisconsin): Internet XML databases OpenCQ (Georgia Tech): triggers, incr. view maintenance Tapestry (Xerox): pub/sub content-based filtering Telegraph (Berkeley): adaptive engine for sensors Tradebot (): stock tickers streams Tribeca (Bellcore): network monitoring Streaminer (UIUC): new proj