面向云计算大数据工作流系统架构研究.pdfVIP

表格

{

边框‑折叠:

折叠;

}

表格,

表头,

表单元格

{

边框:

1px

实线

#000;

}

面向云计算的大数据工作流系统架构

AAndrey

Kashlev,

Shiyong

Lu

州立大学计算机科学系

——科学工作流已成为领域科学家形式化与结构化复杂数据密集型科学流程的重要范

式。面对持续增长的科学数据规模，研究者们致力于扩展科学工作流管理系统

(SWFMSs)，以利用云计算能力执行大数据分析。与运行在独立或网格等传统本地

环境的工作流不同，云工作流依赖于动态调配的计算、和网络资源，这些资源在使用

结束后即被释放。云资源的动态易失特性及其他云环境特有因素，为云化SWFMSs带来

了一系列新。尽管已有少数SWFMSs与云基础设施集成，为后续研发了经验参

考，但从架构视角展开的全面研究仍属空白。为此，我们通过在Amazon

EC2、

FutureGrid

Eucalyptus和OpenStack云平台运行大数据工作流的实践研究：1)

识别出

云计算环境下运行大数据工作流的；2)

提出一个与具体实现无关的通