基于云计算的海量数据处理系统框架研究.pdfVIP

基于云计算的海量数据处理系统框架研究 AnIntegratedFrameworkforM assiveDataProcessingUsingCloudComputing 周胜群 于治楼 ’宋 欣 “李 晶 ZHOUSheng-qun YUZhi-louSONGXinLIJing 为了有效地解决物联网系统中海量实时感知数据流的存储和处理 问题，本文在深入分析和 研究现有 国内外相关先进技术和研究成果的基础上，提出了基于云计算的海量数据处理系 统框架，在构建的虚拟数据中心拓扑结构上，实现了面向大规模异构感知数据存储的分布 式数据库集群系统架构，在此基础上结合MapReduee编程模型设计了适合大规模异构感知 数据流并行计算的优化策略。 海量数据处理 云计算 物联网 并行计算 doi：10．39698．issn．1672—9528．2014。03．29 行处理，文中主要研究了无线传感器网络中大规模感知 1．引言 数据在云计算环境下的处理方法，而对于物联网中多模 式、多属性、非结构化的高维异构感知数据处理技术没 大规模异构感知数据来源于物联网应用中由大量 有讨论。文献 [4]中主要研究了在云计算环境下通过卫 射频识别器、传感器节点等数据采集设备收集的感知 星等收集的空间数据处理集群系统框架设计方法。文献 信息，由于数据量非常大，一台计算机不可能满足海 嘲 中结合城市车辆数据的实时采集和处理，在理论和 量数据处理的性能和可靠性等方面的要求，因此，研 实践分析的基础上，提出了一种针对高速数据流的大规 究更高效的和智能化的海量异构感知数据处理技术将 模数据实时处理方法，在云计算环境下通过优化本地阶 给物联网系统上层应用提供更有力的决策支持和节约 段流水线和中间结果缓存技术有效的提高了CPU和存 大量的存储资源。而云计算技术的应用能有效地增强 储器的利用率。但是对于所提出算法的负载平衡，即异 物联网系统中的数据处理能力，提高物联网系统的智 构工作节点上中间结果数据的分布和动态负载调度等 能化程度，通过云计算技术，云中大规模的计算机集 关键问题还存在很大的研究空间。文献 [6]中研究了如 群提供了强大的计算能力，通过庞大的计算机处理程 何运用MapReduce编程框架解决海量数据的Skyline 序 自动将任务分解成若干个较小的子任务，快速对大 查询问题，通过过滤部分不能成为Skyline查询结果的 规模的异构感知数据进行存储、处理、分析和挖掘， 数据对象，提高在MapReduce编程框架下的查询效率、 并在保证应用时效性的基础上给用户提供决策支持。 准确性和可用性，但在MapReduce编程框架下对于具 近年来，云计算环境下大规模异构感知数据流