基于时空划分的数据流挖掘.pdfVIP

第36 卷 第7 期 计 算 机 工 程 2010 年4 月 Vol.36 No.7 Computer Engineering April 2010 ·软件技术与数据库· 文章编号：1000—3428(2010)07—0061—02 文献标识码：A 中图分类号：TP311.13 基于时空划分的数据流挖掘 1,2 1 袁正午 ，袁松彪 (1. 重庆邮电大学中韩合作GIS 研究所，重庆 400065 ；2. 重庆大学土木工程学博士后流动站，重庆 400045) 摘 要：基于时空划分的思想，设计概要数据结构的在线生成算法。概要数据结构保存流数据不同时刻的分布状态，以支持离线阶段的分 类、聚类和关联规则发现等数据挖掘操作。研究时间粒度、量化向量调整和子区域索引等3 项内存需求控制策略，以平衡概要数据结构的 内存需求和内外存之间的I/O 次数。 关键词：数据流；时空划分；概要数据结构；聚类 Data Stream Mining Based on Time and Space Partitioning YUAN Zheng-wu1,2, YUAN Song-biao1 (1. Sino-Korea Chongqing GIS Research Center, Chongqing University of Posts Telecommunications, Chongqing 400065; 2. Civil Engineering Mobile Station for Post Doctors, Chongqing University, Chongqing 400045) 【Abstract 】Based on the idea of time and space partitioning, this paper designs synopsis data structures which contains the distributed status of data stream to support different data mining tasks such as classifying, clustering and association rules discovery. Three kinds of measures are researched to control the potential huge requirement of memory caused by space partitioning, so that the synopsis’ memory requirement and the number of I/O are balanced. 【Key words 】data stream; time and space partitioning; synopsis data structure; clustering 1 概述 要大量数据的矛盾，一个直接的解决方法就是数据压缩。空 近年来随着硬件技术的进步，产生了很多生成数据流的 间划分把多维数据看作多维空间的点，将数据空间划分为多 应用，如网络监控、通信数据管理、Web 点击流、传感器网 个区域，生成一个具有很好压缩效率的框架，保存每个区域 [1-2] 中数据的出现次数和其他统计信息，用以设计多种不同任务 络 。与传统的存储于磁盘的静态数据不