科学工作流kepler及其应用.pptxVIP

科学工作流kepler及其应用周园春、林小光、程洁黄刚、王鹏飞、屈侠2008-10-28

背景工作流概述科学工作流系统简介Kepler系统及其应用基于Web的科学工作流目录

海量科学数据背景数字化技术和无处不在的网络发展推动了数据的收集、产生、共享、与分析。科学数据规模越来越庞大，科学实验过程也越来越复杂。科学与工程研究日益成为数据密集型的工作。

超级计算环境背景STEP3STEP2STEP1与观察实验、理论分析鼎足而立的科学计算已成为e-Science的核心。现今很多交叉和前沿学科的研究越来越需要高性能计算，如大气科学计算、生命科学计算、湍流计算、分子模拟等。由于这些研究所需的数据资源和计算资源非常庞大，目前各研究机构很难为这些科研需求提供足够的资源，导致了很多研究无法往前推进。

背景科学密集型实验迭代的科学数据处理流程01源数据获取Web服务、SRB、FTP、HTTP02数据输入03数据预处理04数据运算05数据分析数据挖掘06结果输出结果数据集可视化图片等07

背景动态的科学逻辑处理过程虽然数据密集型科学问题的求解过程也遵循一定的基本流程，但是整个过程中的诸多细节却是动态的、不确定的，科学实验流程的定义往往是不完整的，在执行过程中也需要根据实验流程的运行态势做出动态修改。

商业工作流工作流的概念起源于办公自动化领域。它所关注的问题是处理过程的自动化，它根据一系列定义的规则，把文档、信息或任务在参与者之间传递，以达到某种目的。工作流管理联盟（WfMC）对工作流的定义：一类能够完全或者部分自动执行的经营过程，根据一系列过程规则、文档、信息或任务能够在不同的执行者之间传递、执行。0102工作流概述

商业工作流经营过程的一个计算机实现。工作流管理软件（WfMS）是一个软件系统。用以完成工作流的定义和管理，并按照在计算机中预先定义好的工作流逻辑推进工作流实例的执行。运行在一个或多个工作流引擎上。与工作流执行者交互，推进工作流实例的执行，并监控工作流的运行状态。0102工作流概述

2O世纪9O年代，随着问题求解环境(PSE)在科学研究活动中的应用，科学工作流和科学工作流管理被引入到科学问题求解环境中。科学工作流就是采用工作流的思想，用来描述和控制科学实验和过程的执行，它是面向e-Science，服务于科学家，使得科学家能够更容易的分析和管理科学数据。科学工作流工作流概述

科学工作流是获取科学数据（包括传感器数据、医学影像、卫星图像、仿真输出、各类观测数据等等），并对所获取到的数据执行复杂分析的灵活的工具。目的在于组合一个广阔领域的应用程序，从实验的设计、执行、监控到归档，以及使得实验数据重用等的管理和分析流水线化。科学工作流工作流概述

Streaming/pipelinedexecution1Compute-intensive3Visualization-intensive5Highlydata-centric2Analysis-intensive4Interconnectionbetweenmultipletools6科学工作流工作流概述

工作流概述商业工作流VS.科学工作流科学工作流面向数据量，以数据驱动商业工作流面向控制流，事务驱动actornamedata(state)portsInputdataparametersOutputdataWhatflowsthroughanobjectisstreamsofdatacallreturnclassnamedatamethodsWhatflowsthroughanobjectissequentialcontrol

科学工作流系统介绍国际上比较成熟的科学工作流系统：学术领域的：KeplerTavernaTriana商业性质的：DiscoveryNetPipeline-PilotLabView

Kepler科学工作流系统介绍Open-Source，Java圣地亚哥超算中心地学、生物信息学、化学等

科学工作流系统介绍TavernaOpen-source，JavaOMII-UK生物信息学

Triana科学工作流系统介绍Open-Source，JavaCardiffUniversity,UK信号、文本、图片处理

科学工作流系统介绍商业性质科学工作流

目前，国内在科学工作流领域的研究尚处于起步阶段。01许多具体领域的研究机构已经开始着手使用国际上成熟的科学工作流系统（如Kepler等）进行涉及科学数据处理的大规模复杂科学实验。02一些大学及研究所也开始对科学工作流系统进行了针对性研究，比如武汉大学软件工程国家重点实验室、南京大学计算机软件新技术国家重点实验室等。03国内相关研究现状科学工作流系统介