一种数据流块查询操作符的设计与实现.pdfVIP

第33卷 第12期 北 京 工 业 大 学 学 报 V01．33 N0．12 2007年 12月 JOURNAL OF BEIJING UNIVERSITY OF TECHN0L0GY Dec．2007 一 种数据流块查询操作符的设计与实现 王 丹，赵 晶，邝劲筠 (北京工业大学计算机学院，北京 100022) 摘 要：为了使块操作符和状态操作符有效处理连续到达的数据流元组，研究了基于Punctuation的数据流连续 查询处理技术，描述了分组操作符Group—by和状态操作符Join的处理规则，设计了相关的数据结构，给出了基 于Punctuation的块操作符Group—by和状态操作符Join的处理过程，并对执行结果进行了分析和测试．结果表 明，使用基于Punctuation的查询处理技术有助于提高块操作符和状态操作符对数据流的查询处理性能． 关键词：查询处理；操作符；连接过程；数据流；标注 中图分类号：TP 311．13；TP 391 文献标识码：A 文章编号：0254—0037(2007)12—1326—07 在数据流管理系统中，有2类查询操作符对处理连续到达的数据流元组来说面临着挑战[1-2]：一类是 块操作符(blocking operators)，如Count、Min、Max、Sort和Avg等，因为查询处理需要读入一个完整的输 入数据集后才能开始执行；另一类是状态操作符(unbounded stateful operators)，如Join，它也需要保存参加 Join操作的数据流中的数据．由于数据流中的元组不断地、持续到达且数据处理具有实时性要求，这就需 要解决有限内存与无限的数据流的流量之间的矛盾[3-4]．当前很多数据流处理系统都使用滑动窗口技术， 将无限的数据流转变为有限的数据流子集来实现近似查询处理 _6J．滑动窗口允许查询操作符处理有限 间隔的元组．当新元组到达时，旧元组被丢弃，操作符计算当前窗口中的元组． 1 Punctuation的嵌人技术 在数据流中嵌入Punctuation为处理这2类查询操作符提供了另一种技术手段．一个Punctuation是 嵌入在数据流中的一个数据项，它指定了数据流中的一些数据子集的终止[7-8]．可以把Punctuation视为 数据域上的一个个谓词，满足这个谓词的数据项就称为匹配这个Punctuation[ ．也就是说，在一个加入 Punctuation的数据流中，任意一个匹配Punctuation的数据项都会在该Punctuation之前到达．如果每个 Punctuation都位置正确：它出现在它所表示的子集中最后一个数据之后的某个地方 J，通常称一个带有 Punctuation的数据流是合乎文法的．一般来讲，数据流中Punctuation的格式与数据流中的数据项的格式 完全一样，同时Punctuation也具有一定的模式，例如用*表示匹配所有值．通过给Punctuation赋予一个 非法值，系统就能很容易地区分数据流中的数据项和Punctuation． 对于上述块操作符和状态操作符来说，只有当输入数据流中的数据完全被读取时，块操作符才可以产 生结果，并且状态操作符可以丢弃部分状态．本文通过在数据流中嵌入特殊的Punctuation对数据流做注 解来指定一个数据子集的终止，从而可以将连续不断的数据流划分成多个有限的数据流子集，可以在有限 的内存空间中实现这2类操作符的查询处理． 例如，在一个在线拍卖系统中，将拍卖信息和用户的出价信息看作2个数据流L7 J：Auction流和Bid 流．设拍卖数据流中的数据项是关于某件拍卖物品信息的元组，每件拍卖物品有一个唯一的标识(item— id)，另外还包括卖家标识(seller—id)、起始价格(start—price)、拍卖结束时间(end—time)以及到达系统时的 时间戳(timestamp)．本文将拍卖流中的元组定义为(item—id，seller—id，start—price，end—time，times一 收稿Et期：2006—09—26． 基金项目：北京市教育委员会科技发展计划资助项目(05007012200501)；北京市属市管高等学校人才强教计划资助项目 作者简介：王 丹(1969一)，