ETL调度设计方案(附程序源码).pptVIP

ETL调度设计开发 调度设计需要注意的问题 作业及作业流翻牌 作业及作业流之间的依赖 分析类系统维护的主要工作量在ETL调度处理，如果没有一个通用先进的ETL调度，在系统上线后，在这部分工作上将耗费大量的人力。可以说，一个优秀的ETL调度系统会大大的减少ETL维护人员的难度和维护的成本。 目前公司没有购买专业的ETL调度程序，自行开发设计ETL调度程序 调度分组 初步设计将调度分成三个大组，原子层、中间层、集市层，各层下面再根据主题域再分小组，上层组相同的组之间可以设置依赖关系，如无依赖关系则并行执行。 最下层的组下面存放各个任务，调度频率相同的任务之间可以设置依赖关系，如无依赖关系则并行执行。 总体规划 中间层 原子层 集市层 整个原子层作业完成后（十分钟周期）， 才能运行中间层（十分钟周期），数据 周期加十分钟，运行下一个十分钟 中间层作业等待原子层当前十分钟周期完成后， 才能运行当前十分钟周期的作业，当前周期的 作业全部完成后，数据周期加十分钟，当天 每个十分钟周期都完成后，数据周期变成第二天 ，才能运行当天的集市层作业。 集市层作业等待中间层作业 当天作业全部完成，数据周期 变成第二天才能运行当天的集市 层作业。 原子层层次图 协议主题域分机构 原子层 营销活动主题域 理赔主题域 代码主题域 当事人主题域 事件主题域 产品主题域 财务主题域分机构 协议主题域 财务主题域