阿里云数据集成服务-使用手册-D.docxVIP

数据集成

使用手册

消息队列/

消息队列/用户手册

PAGE100

PAGE100

使用手册

作业配置说明

Job配置设计约定

{type:job,traceId:bazhen_001,version:1.0,configuration:{setting:{},reader:{plugin:,parameter:{}},writer:{plugin:,

{

type:job,

traceId:bazhen_001,version:1.0,configuration:{

setting:{},reader:{

plugin:,

parameter:{}

},

writer:{plugin:,

parameter:{}

}

}

}

其中：

type=job，代表底层使用批量离线的数据同步。

traceId，用户用来此traceId跟踪作业。

version，版本号，公测版本CDP目前仅支持1.0版本格式。

configuration={}，是DataX本身进行数据传输的描述。具体而言，描述的是{源、目的、转换器(暂不支持

)}。

所有的配置信息定义，均按照驼峰命名法进行配置key命名，且大小写敏感。用户必须保证配置必须严格按照文档定义格式进行填写。

由于JSON本身不支持注释，用户在参考CDP提供的样例配置必须剔除掉注释信息，否则JSON解析将会报错

。

阿里云物联网套件/

阿里云物联网套件/详细手册

Job主体配置

{type:job,//用户提交同步类型，包括Job/StreamtraceId:bazhen_001,//用户用来此traceId跟踪作业version:1.0,//版本号，公测版本CDP目前仅支持1.0

{

type:job,//用户提交同步类型，包括Job/StreamtraceId:bazhen_001,//用户用来此traceId跟踪作业

version:1.0,//版本号，公测版本CDP目前仅支持1.0版本格式。configuration:{

settting:{

key:value

},

reader:{

plugin:mysql,//这里填写源头数据存储类型的名称parameter:{

key:value

}

},

writer:{

plugin:odps,//这里填写目标端数据存储类型的名称parameter:{

key:value

}

}

}

}

其中：

type

指定本次提交同步任务是Job、Stream。

traceId

traceId用来跟踪本次提交的Job。traceId是由用户指定，并且建议用户按照自己业务逻辑生成唯一ID，以方便后期的运维工作。

CDP只提供触发式数据同步API，CDP本身不提供Job存储、Job定期调度、Job的DAG依赖触发等各类涉及工作流调度功能。因此同一份Job如果用户多次(非并行)进行提交，CDP将为每次提交的Job分配单个CDP集群(例如杭州集群)唯一的运行ID，该ID为Job的主键ID，由CDP服务生成并分配，CDP保证全局唯一性。如果用户希望对于每个数据同步任务配置使用同一个ID进行追踪，那么请为每个数据同步作业分配单一的traceID。

例如阿里云公有云产品采云间系统，其底层数据集成功能通过CDP完成。采云间使用dpc+采云间作业ID作为traceId向CDP提交Job。这样采云间可以方便的使用采云间作业ID在CDP中获取并追踪该采云间作业近期所有的运行状况。

version

目前所有Job仅支持版本号1.0，用户只能填写版本号为1.0。二、JobSetting配置

{type:job,traceId:bazhen_0001,version:1.0,configuration:{setting:{errorLimit:{},speed:{},column:{}}}}Job的setting

{

type:job,

traceId:bazhen_0001,version:1.0,configuration:{

setting:{errorLimit:{},

speed:{},

column:{}

}

}

}

-configuration.setting.column(类型转换)

CDP支持最基本的类型转换，用户可以自定义设定类型转换配置，用以描述一些基本的字段类型转换信息，包括：

datetimeFormat:设定datetime类型和string类型的转换format。

timeFormat:设定time类型和string类型的转换format。