第6课 序列挖掘技术.ppt

目前的DSMS项目 STREAM (Stanford): A general-purpose DSMS Cougar (Cornell): sensors Aurora (Brown/MIT): sensor monitoring, dataflow Hancock (ATT): telecom streams Niagara (OGI/Wisconsin): Internet XML databases OpenCQ (Georgia Tech): triggers, incr. view maintenance Tapestry (Xerox): pub/sub content-based filtering Telegraph (Berkeley): adaptive engine for sensors Tradebot (): stock tickers streams Tribeca (Bellcore): network monitoring Streaminer (UIUC): new project for stream data mining 应用领域 新的应用领域 – 以连续的、有序的“流”的形式输入数据 网络监听和流量控制(Network monitoring and traffic engineering) 电话通信(Telecom call records) 网络安全 (Network security ) 金融领域(Financial Application) 工业生产(Manufacturing Processes) 网页日志与点击流(Web logs and clickstreams) 应用实例 网络安全 数据包流，用户的会话信息 查询: URL 过滤，异常监测，网络攻击和病毒来源 金融领域 交易数据流， 股票行情， 消息反馈 查询: 套汇可能性分析，模式 现有的研究方向 流数据建模(Stream data model) STanford stREam datA Manager (STREAM) Data Stream Management System (DSMS) 流检索/查询建模(Stream query model) Continuous Queries Sliding windows 流数据挖掘(Stream data mining) Clustering summarization (Guha, Motwani et al.) Correlation of data streams (Gehrke et al.) Classification of stream data (Domingos et al.) 流数据频繁模式挖掘简介 静态数据 流数据 关系特点 静态稳固 短暂易失 查询方式 一次完成 连续查询 存取方式 随机访问 序列访问 存储容量 无限的辅存 有限的主存 响应速度 无要求或尽量快 必须快 存储特点 被动存储 主动存储 更新速度 低 不可预测 响应特点 较少“实时服务” 实时响应 流数据频繁模式挖掘要求 只能对数据流进行一次扫描； 处理的数据项是无穷的； 实时响应数据处理要求。 数据流管理系统的抽象体系结构 流数据频繁模式挖掘算法 确定区间（deterministic bounds）近似算法：计算一个近似结果，但这个近似结果能够落入由真实结果构成的??区间； 概率区间（probabilistic bounds）近似算法：计算一个近似结果，但这个近似结果能够以较高的概率落入由真实结果构成的??区间。 算法比较 滑动窗口技术 自然滑动窗口 31 days 24 hours 4 qtrs 12 months Time Now 24hrs 4qtrs 15minutes 7 days Time Now 25sec. 对数滑动窗口 参考文献 R. Srikant and R. Agrawal. Mining sequential patterns: Generalizations and performance improvements. EDBT’96. H. Mannila, H Toivonen, and A. I. Verkamo. Discovery of frequent episodes in event sequences. DAMI:97. M. Zaki. SPADE: An Efficient Algorithm for Mining Frequent Sequences. Machine Learning, 2001. J. Pei, J. Han, H. Pint