面向高速网络的数据流处理系统的研究和应用.pdf

面向高速网络的数据流处理系统研究与应用 捅芰 传统的数据库管理系统适合于处理针对有限存储的数据集的一次性查询。然而， 像网络监控、金融分析、制造业和传感器网络等现代的应用却需要针对连续而且无限 的数据流进行持续查询。在这些应用中，数据不再以有限存储的数据集的形式存在， 而是以多重、持续、快速、时变形式到达的数据流。在处理这些需要实时响应的大容 量数据流时，传统数据处理基本结构的局限性更加突出。使用传统的数据库管理系统， 简单地将到达的数据装入数据库中再进行操作是不可行的，因为它不能直接支持数据 流处理中典型的持续查询，更重要的是，近似问题和适应性是数据流处理的两个关键 因素，而传统的数据库管理系统关注的却是使用稳定的查询计划获得精确的结果。因 此，现有的数据库管理系统多数只能用于为面向数据流的应用提供离线存储支持。 本文应用闭环控制理论和一定的运算符调度算法，主要关注如何建立一种既适合 高速网络数据流传输特性，又适合网络波动环境的适应性数据流持续查询处理的原型 系统。首先，较为详细地分析了网络数据流的传输特性；在此基础上提出数据流查询 处理模型设计的特殊的功能需求，指出传统数据库管理系统在处理数据流问题上的局 限性；进而提出了一个针对数据流持续查询处理的框架模型，该模型以数据流查询处 理系统的适应性为重点，应用低延迟分段调度策略，实现在降低内存使用需求的同时， 尽量缩小输出延迟，提高数据流处理系统的适应性和查询的精度；在查询语言方面， 以通用的结构化查询语言SQL为基础，将数据流持续查询与现有数据库管理系统结 合起来，对标准的SQL增加数据流的引用，扩充滑动窗口的语义，更好地为数据流 查询服务。在查询模型及语言设计的基础上，提出基于闭环控制理论的原型系统，分 析模型在复杂网络环境下的适应性机制，并介绍系统主要模块的实现方法。最后给出 了一个网络流量管理方面的应用实例。结论部分总结了本文的研究工作，简要介绍了 这一领域未来的几个研究方向。 关键词：高速网络；数据流；查询处理 and of Study Data ApplicationStream Processing over System Networks High—speed Abstract lraditional database are best run managementsystems to one．time equipped queries overfinite storeddata modern sets．However,many suchasne№rl( applications monitoring，financial sensor analysis，manufacturing，andnetworks continuous require over queriescontinuousⅢlboulldedstreamsof data．Inthese