面向数据密集型应用云数据动态布局策略.pdfVIP

面向数据密集型应用的云数据动态布局策略书 崔立真，郑湃，徐猛，王海洋 (山东大学计算机科学与技术学院 济南 250101) 摘要： 云计算环境下面向流程的数据密集型应用已被广泛应用于多个领域．面对多数据中心的云计算环境， 这类应用在数据布局方面遇到了新的挑战，主要表现在应用执行过程中不可避免的需要进行跨数据中心的数据 传输，进而又将导致不可忽视的时间开销．针对这个挑战，本文提出一种基于数据依赖的动态数据布局策略： 一方面，在流程应用的构建阶段对现存的初始数据进行全局的预布局：另一方面，在流程应用的运行阶段，对 拙I彳子过程中产生的中间数据和结果数据，实现局部的动态布局．实验显示，本文提出的数据布局策略具有良好 的综合性能，特别是在降低流程执行过程中由跨数据中心数据传输所导致的时问开销方面效果尤为明显． 关键词： 云计算；流程；数据密集；数据布局；数据依赖 中图法分类号：TP393 文献标识码：A 1引言 随着信息技术的发展和普及，互联网逐渐成为一种计算平台。云计算是一种典型的网络计算模式，强调在 虚拟计算环境下运行大规模应用的可伸缩性和可用性．基于云计算的大型网络应用呈现出分布、异构的特点和 数据密集的趋势，如科学工作流系统，这类应用被称为数据密集型应用l¨．目前数据密集型应用已被广泛应用 于天文学【2】、高能物理学【3】以及生物信息学14】等领域。这类应用的数据密集性主要体现在其处理的数据大小通常 达TB甚至PB级，其中既有已存在的输入数据源，也有在对数据进行分析和处理的过程中产生的中间数据和 最终结果数据，而通过使用流程管理技术，可以实现这类数据密集型应用的自动化执行。数据密集型应用，尤 其是那些面向流程的数据密集型应用，在利用云计算环境的过程中遇到了一些新的挑战，特别是在数据布局方 面尤为突出。在云计算环境下部署并执行数据密集型应用，需要多数据中心的协作，因此在多数据中心环境下 如何为大量数据选择合适的放置位置变得至关重要，具体表现为：(1)面对云环境下的多数据中心，这些应用 在其执行过程中不可避免的需要进行跨数据中心的数据传输。一方面数据规模巨大而数据中心问网络带宽有 限，因此跨数据中心的数据传输将导致不可忽视的时间开销，故成为一个巨大挑战。(2)这类应用的流程特性 决定了其数据之间存在数据依赖关系．在多数据中心环境下，合理的数据布局方案应力求保持这种数据问的依 赖关系，这将利于降低流程执行过程中跨数据中心数据传输所导致的时间开销，进而提升执行效率。(3)合理 的数据布局策略应充分考虑应用数据的动态性，合理的数据布局方案应能够在应用执行过程中随数据的变化而 *SupportedbytheNationalNatureScienceFoundationofChinaunderGrantNo国家自然科学基金)．Key Grant RDProgramofShandongProvineeunder Technology ResearchFundfortheDoctoral of EducationunderGrantNo．200804221031(高等学校博士学科 Specialized ProgramHigher underGrant InnovationFoundationofShandongUniversity No．2009Ts030(山东大学自主 点专项科研基金)．andIndependent 刨新基金) 作者简介：崔立真(1976--),男，博士，副教授，主要研究领域为软件与数据工程，工作漉技术：郑湃(1982--),量J。硕士研究生主要研 究领域为云计算数据管理；徐猛(t77s-),9§，博士研究生，主要研究领域为软件与数据工程；王海洋(1％5一)．男。博士生导师，教授，主要 研究领域为数据库应用． 动态调整。 本文通过分析云计算环境下面向流程的数据密集型应用的特点，在全面考虑数据传输次数、数据集大小以 及数据中心间网络带宽等因素的基础上。提出云计算环境下面向数据密集型应用的动态数据布局策略，该策略 首先在流程应用执行之前对初始输入数据进行预布局，而在流程执行过程中对新产生的输入数据和中间数据实 现动态的分配。该策略通过对数据集间的数据依赖关系进行定义并建模，进而实现对所有应用数据之间的数据 依赖度进行定量的计算和分析；之后在此基础