流数据处理系统自适应机制研究.pdfVIP

流数据处理系统自适应机制研究 Researchof MechanisminDataStream Self-adaptive System 刘云生代一尘邓华锋 (华中科技大学 武汉430074) 1引言 2两种主要的系统资源分析 近年来，一类新的数据密集型应用已经得到了 ·有限CPU资源：数据以很高的速率到达，而 广泛的认同，这类应用的特征是：数据不宜用持久稳 没有足够的CPU时间来处理。在这种情况下，系 定关系建模，而适宜用瞬态数据流(datastreams)建统会近似地丢掉一些未处理的数据。 模。这些应用的实例包括金融服务、网络监控、安 ·有限内存资源：注册在系统中的查询对内存 全、电信数据管理、Web应用、生产制造、传感检测 的请求可能消耗完系统所有可用内存。在这种情况 等等。在以上应用中，若把持续到达的数据简单的 下，系统应该能选择性地保证一些查询的清求而忽 放到传统的数据库管理系统(DBMS)中，并在其中 略其他查询对内存的请求。 进行操作，是不太切实的。传统的DBMS并不是为 2．1有限CPU资源 快速连续的存放单独的数据单元而设计的，而且也 降低CPU的使用率可以通过丢弃查询计划中 并不支持“连续查询”(continuous queries)E“，而“连的元素来保存CPU时间以执行完查询处理。通过 续查询”是数据流应用的典型特征。另外，现在人们 一个取样频率算子来选择丢弃输入到查询计划中的 流元素的概率。 都认识到，“近似性”(approximation)和“自适应性” (adaptivity)是对数据流进行快速查询和其他处理假设我们有一个在输人流上的时间滑动窗口集 (如数据分析和数据采集)的关键要素，而传统 合查询。一个简单的例子是： DBMS的主要目标恰恰与之相反：通过稳定的查询 Select 5 Avg(Temp)FromS[RangeMinutes] 设计，得到精确的答案。 如果我们有很多这样的查询，而只有有限的 流数据处理系统正是适应了对连续无界数据流 CPU时间，我们的目标是提取使所有查询中使得最 的连续查询的要求，提供对流数据的管理和对流数 大误差最小的输入。假设对于一个给定查询Qi我 据连续查询的处理。文[2～43介绍了国外主要的流们知道集合的均值口i和标准方差巩，窗口大小M。 数据处理系统原型。流数据受环境的影响非常明显 通过有界随机变量概率不等式[s]可以推导出相对误 (比如交通流中的时问)，在许多应用中流数据处理 差超过一定取样频率下门槛值e～的有界概率d。 系统可能由于消耗过多的系统资源而变得非常低效 让6固定到一个较小的值，可以得到取样频率只的 甚至崩溃，尤其是在系统注册了很多复杂查询的情 代数等式[6]： 况下。因此，研究和实现流数据处理系统的自适应 机制，提高系统的健壮性和智能性显得尤为重要。 毕圭蕊 本文指出了系统中两种主要的有限资源CPU和内 2．2有限内存资源 存资源，分析并提出了资源过度消耗情况下保证系 连续查询处理带来许多新的挑战。一个连续查 统正常运行的自适应机制初步解决方法。 询逻辑上只注册一次，但是要持续的运行，由于输入 数据流持续