基于HiveCMN层迁移方案及任务执行框架设计.pdfVIP

基于Hive的CMN层迁移方案

2015-12-02

目录

Task调度框架（请参考昊杰的ppt)

Task执行框架

Hive增量方案

迁移示例

TODO

2

Task执行框架–设计

调度

taskexecutor1、被Task调度框架调用，接收固定参数

TASK_EXECUTOR.kjb2、根据模块名称(Task_Class)调用不同的task代理

shell

taskproxy1、与模块相关，不同的模块使用不同的代理

IDW_CMN：MAIN.kjb2、对task进行包装，设置通用参数/记录必要日志

shell

1、执行具体业务逻辑

task2、对外提供一个接口(MAIN.kjb)，可以由多步来实现

IDW_CMN：CMN_PRODUCTS：MIAN.kjb3、实现方式自由(shell/sql/procedure/mr/spark...)

3

Task执行框架–simplescheduler

4

Task执行框架–taskexecutor

5

Task执行框架–taskproxy

6

Task执行框架–task

7

Task执行框架–开发流程

8

Task执行框架–开发流程

1.从git库拉取dw-kettle的最新代码

2.在kettle.properties中添加配置项：DW_ETL_KETTLE_CMD=KETTLE_HOME/kitchen.sh

3.打开对应的MAIN.kjb替换掉dummy部分并实现自己的业务逻辑

4.在etl_control_task中添加配置项

5.执行DW_ETL.kjb进行测试

9

Hive增量方案

step1-根据时间戳获取相关表中的增量product_id存入临时表

t_cmn_products_ex

(临时表)

step2-以ex为驱动表，leftjoin其他表获取目标字段和目标记录形成增量表

t_cmn_products_curt_cmn_products