ETL调度设计方案(附程序源码).pptxVIP

ETL调度设计开发分析类系统维护的主要工作量在ETL调度处理，如果没有一个通用先进的ETL调度，在系统上线后，在这部分工作上将耗费大量的人力。可以说，一个优秀的ETL调度系统会大大的减少ETL维护人员的难度和维护的成本。目前公司没有购买专业的ETL调度程序，自行开发设计ETL调度程序调度设计需要注意的问题作业及作业流翻牌 作业及作业流之间的依赖调度分组初步设计将调度分成三个大组，原子层、中间层、集市层，各层下面再根据主题域再分小组，上层组相同的组之间可以设置依赖关系，如无依赖关系则并行执行。最下层的组下面存放各个任务，调度频率相同的任务之间可以设置依赖关系，如无依赖关系则并行执行。总体规划中间层作业等待原子层当前十分钟周期完成后，才能运行当前十分钟周期的作业，当前周期的作业全部完成后，数据周期加十分钟，当天每个十分钟周期都完成后，数据周期变成第二天，才能运行当天的集市层作业。集市层作业等待中间层作业当天作业全部完成，数据周期变成第二天才能运行当天的集市层作业。整个原子层作业完成后（十分钟周期），才能运行中间层（十分钟周期），数据周期加十分钟，运行下一个十分钟中间层原子层集市层原子层层次图原子层分组下有12个小组，包括9大主题域，2个分机构的主题域以及同步删除，深黄色和兰色表示上下级关系，浅黄色表示各分组之间的依赖关系。同步删除作业组织机构主题域作业协议主题域作业协议主题域分机构作业