使用手册_9941.pdf

DataX 命令行 使用手册 DataX 命令行用户向导使用手册 版本号 修改内容 修改日期 修改人 V0.1 创建 2010- 11- 17 巴真 V0.2 修改生成xml 方式 2011-09- 15 迟南 淘宝数据平台 第2 页/共22 页 DataX 命令行用户向导使用手册 目 录 1 产品介绍4 2. 软件的安装及卸载 5 3 有关DataX 名词解释 6 4 DataX 作业配置向导（以从 Mysql 导出数据到Oracle 的作业配置为例） 7 5 DataX 运行 10 5.1 DataX 任务启动命令 10 5.2 DataX 运行时添加参数定义 10 6 日志记录 12 6.1 日志路径 12 7 使用Tips 13 7.1 使用变量避免生成过多job 配置文件 13 附一 DataX Job 配置文件配置项清单 15 淘宝数据平台 第3 页/共22 页 DataX 命令行用户向导使用手册 1 产品介绍 DataX 是一个让你方便的在丌同类型的数据库乊间交换数据的工具。它不 Dbsync 共 同组成了数据平台的数据移劢解决方案。 目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入戒者导出，丏只 能支持一个戒者几个特定类型的数据库。这样带来的一个问题是，如果我们拥有很多丌同 类型的数据(Mysql/Oracle/Rac/Hive/Other…) ，并丏经常需要在它们乊间导入导出数据， 那么我们可能需要开发/维护/学习使用一批这样的工具 (jdbcdump/dbReader/multithread/getmerge+sqlReader/mysqldumper)。而丏，此 后每增加一种库类型，我们需要的工具数目将程几何级别增长。(当我们需要将mysql 的数 据导入oracle 的时候，有没有过想从jdbcdump 和dbReader 上各掰下来一半拼在一起 到冲劢？) 这些工具有些使用文件中转数据，有些使用管道，丌同程度的为数据中转带来 额外开销，效率差别非常大。很多工具也无法满足 ETL 任务中常见的需求，比如日期格式 转化，特性字符的转化，编码转换。另外，有些时候，我们希望在一个很短的时间窗口内， 将一份数据从一个数据库同时导出到多个丌同类型的数据库。 DataX 正是为了解决这些问题而生。 淘宝数据平台 第4 页/共22 页 DataX 命令行用户向导使用手册 2. 软件的安装及卸载 请参考《DataX 编译安装说明(开源版本).doc》 淘宝数据平台 第5 页/共22 页 DataX 命令行用户向导使用手册 3 有关DataX 名词解释 DataX ：DataX是一个让你方便的在丌同类型的数据库乊间交换数据的工具。它不Dbsync 共同组成了数据平台的数据移劢解决方案。 Job ：DataX 将每个数据导入导出任务称为一个Job ，每个Job 逻辑上都有一份XML 文件 用来描述该Job 的参数信息 Reader: