数据流QoS自适应框架聚集查询卸载策略的研究-中国科技论文在线.PDF

第2卷 第10期 2007 年 10 月 中国科技论文在线 SCIENCEPAPER ONLINE 735 数据流 QoS 自适应框架聚集查询卸载策略的研究 杜 钰，韩东红，王国仁 （东北大学信息学院, 沈阳 110004） 摘 要：本文研究了在数据流 QoS 自适应框架中，数据流聚集查询的卸载算法问题。在CPU 处理能力不足内存 超载情况下，在聚集查询操作中对负载进行卸载，并 满足一定的服务质量。对于一个或多个聚集查询存在的情 况下，将原有的框架从得到近似结果进一步拓展为可以得到精确结果子集的系统框架。在保留原有清洗器，调度 器以及卸载器功能的前提下，进一步改善卸载器的功 ，并加入新的如窗口分配器、聚集操作器两个新的功能模 块，以确保满足结果是正确结果的子集。本文使用新的卸载算法与原框架相结合，保证系统在执行聚集查询操作 时能在动态环境中具有良好的自适应性。实验结果表明，该方法在 CPU 利用率和错失率优于其它方法。 关键词：计算机系统结构；数据流管理系统；聚集；卸载；服务质量 中图分类号：TP311.13 文献标识码：A 文章编号：1673－7180(2007)10 －0735 －6 度可变的问题，以及在这种动态的环境中如何保证 0 引言 优质 QoS 服务的问题。 数据流技术拥有广阔的应用前景，Web 网络， 文献[4]中提出的数据流 QoS 自适应框架正是为 传感器等产生和处理的都是不断变化的流数据，例 解决上述挑战而提出的。该框架综合考虑了 CPU 的 如：在传感器网络中，传感器不断产生监控信息(如： 处理能力和内存的负载情况，在数据流速和系统处 外界环境信息) ，可能需要对数据做聚集(Aggregate) 理代价不可预测的环境中，自适应地通过卸载来保 或连接(Join)等操作，获得运行状态，做出决策分析。 证查询的 QoS ，原则上适用于任何 DSMS 系统，结 另外在网络安全方面，需要对数据包流、用户的会 构如图 1 所示。 话等信息进行监控、过滤，异常监测、抵御网络攻 击和屏蔽病毒来源等操作。在金融领域，需要操作 交易数据流，股票行情数据流，预测行情走势，分 析套汇可能性，挖掘数据之间的相关性等等。数据 流技术应用的需求刺激了近几年数据流管理系统 (DSMS －Data Stream Management System)算法和架 构的研究，并出现一些具有不同应用背景的实际系 统，如：STREAM[1] ，Aurora[2] ，Telegraph[3]等。 与传统数据不同的是，流数据具有连续产生在 线到达、规模宏大且无界、仅在内存停留有限时间， 出现爆发流等特点。在流数据的诸多特点环境下， 传统的 DSMS 中的查询处理要面临着资源有限（如 图 1 基于控制的 QoS 自适应框架 CPU 处理能力，内存容量，带宽等）和资源分配高 Fig.1 Control-based QoS adaptation framework 基金项目：国家自然科学基金 作者简介：杜钰(1982 － ) ，女，硕士研究生 通讯联系人：王国仁，教授，E-mail ：wangguoren@ise.neu.edu.cn 第2卷 第10期 736 数据流 QoS 自适应框架聚集查询卸载策略的研究 2007年10月 本文对聚集查询的研究是建立在文献[4]的自适 限制瓶颈考虑，所作的监控和优化也都围绕 CPU 进