数据流处理中一种自适应的直方图维护算法.PDFVIP

* 数据流处理中一种自适应的直方图维护算法 An Adaptive Algorithm of Histogram Maintain in Data Stream Processing 韩近强 杨冬青 唐世渭 (北京大学计算机科学与技术系 北京100871) (北京大学视觉听觉与信息处理国家重点实验室 北京 100871) Abstract ：Nowadays data stream processing is becoming the new hot field of database research. Due to the volume and rapidness of data in stream, conventional techniques of query processing won’t be suitable any more. In such an environment a query is approximate. Histogram is commonly used to describe the distribution of data. We present a new algorithm of maintaining histogram under limited memory and guaranteed error. Our experiments show that our algorithm is practical and efficient. Keyword ：Data Stream，Histogram，Quartile 1. 引言 传统的关系数据库系统查询计划是固定不 随着网络技术的飞速发展，数据流 变的。 （Data Stream ）处理逐渐成为当前数据库领 目前出现了许多数据流的原型系统，例 域新的研究热点[1]。数据流是一种新的数据 如 Stanford 大学的 STREAM 系统[2]、加州 处理模型。这种模型中数据不再是永久的关 大学 Berkeley 分校的 TelegraphCQ 系统[3] 系形式，而是大量的、连续的、快速的、随 和布朗大学 Aurora 原型系统[4]。STREAM 时间变化的数据流。数据流出现在许多应用 原型系统是一个数据流管理系统（Data 中，比如股市交易、网络检测、电话通信、 Stream Manager System），它着重处理在内 传感器网络等等。虽然数据流中的数据的基 存有限的情况下计算近似的查询结果的情 本单位还是关系模型中的元组，但是由于数 况。TelegraphCQ 是一个自适应的数据流系 据流的快速而且数据量大，数据流中的所有 统，它用自适应的查询执行引擎来处理各种 数据是不可能存储在传统的关系数据库中 情况下的数据流。Aurora 系统是一个数据流 的。因此数据流系统中的查询和传统的关系 的监视系统，它允许用户定义多个触发器形 数据库不同，数据流的查询是连续查询 成触发器网，并且在运行时会对触发器网进 Continuous Query，即当新数据到达时所有 行优化。 当前活动的查询被执行。数据流中的查询时 由于上述特性，数据流的查询处理只能 静态存储在数据库中的，数据是动态的；而