DataX_命令行使用说明.docVIP

DataX 命令行 使用手册 版本号 修改内容 修改日期 修改人 V0.1 创建 2010-11-17 巴真 V0.2 修改生成xml方式 2011-09-15 何健超 V0.3 根据新版重写 2012-08-21 巴真 目 录 1 产品介绍 4 2. 软件的安装及卸载 5 2.1软件的运行环境 5 2.2 软件的安装 6 2.3软件卸载 6 3 有关DataX名词解释 8 4 DataX作业配置向导（以从Mysql导出数据到Oracle的作业配置为例） 9 5 DataX运行 12 5.1 DataX任务启动命令 12 5.2 DataX运行时添加参数定义 12 6 日志记录 13 6.1 日志路径 13 7 使用Tips 14 7.1 使用变量避免生成过多job配置文件 14 8 附加功能 16 8.1 Mysql数据库切换 16 9 技术支持 20 附一 DataX Job配置文件配置项清单 21 1 产品介绍 ? DataX是一个让你方便的在不同类型的数据库之间交换数据的工具。它与Dbsync共同组成了数据平台的数据移动解决方案。 目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出，且只能支持一个或者几个特定类型的数据库。这样带来的一个问题是，如果我们拥有很多不同类型的数据(Mysql/Oracle/Rac/Hive/Other…)，并且经常需要在它们之间导入导出数据，那么我们可能需要开发/维护/学习使用一批这样的工具(jdbcdump/dbReader/multithread/getmerge+sqlReader/mysqldumper)。而且，此后每增加一种库类型，我们需要的工具数目将程几何级别增长。(当我们需要将mysql的数据导入oracle的时候，有没有过想从jdbcdump和dbReader上各掰下来一半拼在一起到冲动？) 这些工具有些使用文件中转数据，有些使用管道，不同程度的为数据中转带来额外开销，效率差别非常大。很多工具也无法满足ETL任务中常见的需求，比如日期格式转化，特性字符的转化，编码转换。另外，有些时候，我们希望在一个很短的时间窗口内，将一份数据从一个数据库同时导出到多个不同类型的数据库。 DataX正是为了解决这些问题而生。 2. 软件的安装及卸载 软件的运行环境 系统要求： 首先请确认安装DataX的机器能够连上yum源 DataX 主要由Java和python开发，请确保安装DataX的机器上Java =1.6， python = 2.6，如下图: 测试Java 版本 测试python版本 其他软件要求： 如果需要使用oraclewriter，请确保已经安装oracle客户端，可以使用sqlplus进行测试，如果能够正常启动sqlplus，并连接到目的数据库，表示Oracle客户端连接ok，如下图 如果使用的是HdfsReader/HdfsWriter，请确保安装DataX的机器已经安装上了Hdfs客户端，并能够正常访问Hdfs文件系统，例如使用命令行: hadoop fs -ls / 同时请确保在执行DataX的用户/home目录下，链接Hadoop config目录文件，例如在用户目录下执行 ln -s /home/$user/config hadoop-configure-目录 2.2 软件的安装 下列步骤请确保已在系统上配置淘宝yum源，具体的配置请咨询相关的SA。 执行如下命令 sudo yum install t_dp_dw_datax_core_all -b current 该命令将安装最新DataX engine以及所有开发的DataX插件包。 2.3软件卸载 执行如下命令 sudo yum remove t_dp_dw_datax_core_all 该命令将删除DataX包，其上所有的依赖包(插件包)都将会删除。  3 有关DataX名词解释 DataX： DataX是一个让你方便的在不同类型的数据库之间交换数据的工具。它与Dbsync共同组成了数据平台的数据移动解决方案。 Job: DataX将每个数据导入导出任务称为一个Job，每个Job逻辑上都有一份XML文件用来描述该Job的参数信息 Reader: DataX将数据交换的工作分为Reader和Writer，其中Reader负责从来源数据库(或hdfs)读取数据，负责读取数据的线程称之为Reader Writer: DataX将数据交换的工作分为Reader和Writer，其中Writer负责写入数据到目的数据库(或hdfs