DataWorks使用小结（一）——概述.pdfVIP

DataWorks使⽤⼩结（⼀）——概述 ⼀、概述 　　DataWorks数据⼯场，是MaxComputer的可视化开发平台，⼀站式开发、管理界⾯ 　　1.功能概述 　　　　1.强⼤调度：⽀持分钟到⽉的调度 　　　　2.多种任务：⽀持ODPS、SHELL等多种任务 　　　　3.可视化开发：B/S架构的可视化开发界⾯，简单易上⼿ 　　2.基本概念 　　　　1.任务 　　　　　　0个或多个表作为输⼊，1个或多个表作为输出。主要分为节点任务、⼯作流任务、内部节点 　　　　2.实例 　　　　　　某个任务某个时刻的运⾏快照 　　　　3.提交 　　　　　　提交的任务会到调度系统（不提交的不能加⼊调度系统） 　　　　4.资源和函数 　　　　　　俗称的JAR、UDF 　　以上都可在DataWorks中找到： 　　　　 　　　　//因版本差异可能不同，此处是在左上 ⼆、基本开发流程 　　主要包括：建表上传数据-创建⼯作流-创建同步任务-创建周期和依赖-运维⽇志排错 　　1.建表上传数据 　　　　在任务开发中新建⼀个节点任务，写⼊DDL建表语句，运⾏即可完成建表，通过找表即可找到新建的表： 　　　　 　　　　//各个版本DataWorks可能稍有不同 　　数据同步任务，将在下节详述 　　2.创建⼯作流 　　　　创建任务时选择⼯作流任务即可创建⼯作流： 　　　　 　　　　⼀般⽽⾔会创建⼀个虚节点⽤于做控制节点，虚节点对运⾏数据不产⽣任何影响，仅⽤于对下游节点的控制，⼀般⽽⾔，虚节点作 为根节点控制整个⼯作流。 　　3.创建同步任务 　　　　注意RDS等数据源需要添加⽩名单等（ECS添加安全组） 　　　　⾸先需要项⽬管理员新建数据源： 　　　　　　新版DataWorks是在数据集成中新建，⽼板的在项⽬管理中： 　　　　　　 　　　　新建的数据同步在新版中是数据集成的左上⾓，⽼板的需要在新建任务时选择任务类型： 　　　　 　　　　// 底层核⼼应该是DataX 　　　　简单起见，可以⽤向导模式，可视化同步数据 　　4.配置周期和依赖 　　　　双击打开任务后，在页⾯右侧点击任务属性即可配置（新版略有不同）： 　　　　 　　　　即可配置周期调度以及依赖属性了，当有依赖任务时必须等待上游任务跑完才能执⾏（即使本⾝已到运⾏时间） 　　5.运维⽇志管理 　　　　可以通过运维中⼼查看任务，右击即可管理查看