分布式数据流关系查询技术研究.PDFVIP

网络出版时间：2015-10-20 13:01:53 网络出版地址：/kcms/detail/11.1826.TP1301.004.html 第38 卷 计 算 机 学 报 Vol.38 2015 论文在线出版号 No.104 CHINESE JOURNAL OF COMPUTERS Online Publishing No.104 分布式数据流关系查询技术研究 王春凯, 孟小峰 ( 中国人民大学信息学院，北京 100872) 摘 要 在线分析连续数据流的需求日益增多，用于实时处理海量、易变数据的数据流管理系统由此产生。大数据时代下， 随着开放式处理平台的发展，为处理大规模且多样化的数据流，出现了若干分布式流处理系统，如S4, Storm, Spark Streaming 等。然而，为提升处理系统的易用性和处理能力，需要在之上构建具有抽象查询语言的关系查询系统，以构筑完整的分布式 数据流管理系统。如何设计并实现高效易用的关系查询系统是一个亟待解决的问题。本文首先概述了分布式数据流查询处理 的典型应用、数据特征和实现目标。进而，提出了分布式数据流关系查询系统的基础架构，并基于此架构深入分析了用户自 定义函数查询、查询优化、驱动方式、编译技术、算子管理、调度管理和并行管理等关键技术。然后，对比分析了 SPL, StreamingSQL, Squall, DBToaster 四种具有代表性的查询系统实例。最后，指明了该技术在优化技术、执行策略、实时精准 查询和复杂查询分析等方面所面临的挑战和今后的研究工作。 关键词 大数据；数据流；流处理系统；流查询系统；关系查询技术 中图法分类号TP311 论文引用格式 王春凯, 孟小峰，分布式数据流关系查询技术研究，2015 ，Vol.38 ：在线出版号No. 104 WANG Chun-Kai, MENG Xiao-Feng, Relational Query Techniques for Distributed Data Stream: A Survey, Chinese Journal of Computers,2015, Vol.38: Online Publishing No.104 Relational Query Techniques for Distributed Data Stream: A Survey WANG Chun-Kai, MENG Xiao-Feng (School of Information, Renmin University of China, Beijing 100872) Abstract The applications that require online processing continuous data stream are increasing. Data stream management systems which are used to deal with massive and variable data in real time have been produced. With the development of open processing platforms in the ear of big data, a number of distributed data stream