dataX3.0安装使用手册教程文件.docVIP

dataX3.0安装使用手册 精品文档 精品文档 收集于网络，如有侵权请联系管理员删除 收集于网络，如有侵权请联系管理员删除 精品文档 收集于网络，如有侵权请联系管理员删除 DataX3.0使用手册 目录 TOC \o 1-3 \h \z \u 一、 dataX概述 1 1 dataX作用 1 2 DataX3.0框架设计 2 3 DataX3.0插件体系 2 二、 dataX安装 3 1 创建用户组及用户 3 2 环境变量配置 4 3 安装python 4 三、 dataX使用 4 1 生成配置文件模板 4 2 配置定时任务 7 3 常见问题及处理 8 四、 dataX插件开发及安装 8 1. Reader插件开发 8 2. Writter插件开发 9 3. 插件部署 10 dataX概述 dataX作用 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。 DataX3.0框架设计 DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。 Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。 Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。 DataX3.0插件体系 类型 数据源 Reader(读) Writer(写) RDBMS 关系型数据库 MySQL √ √ ? Oracle √ √ ? SQL Server √ √ ? PostgreSQL √ √ ? 达梦 √ √ ? 通用RDBMS(支持所有关系型数据库) √ √ 阿里云数仓数据存储 MaxCompute(原ODPS) √ √ ? Analytic DB(原ADS) ? √ ? OSS √ √ ? 云数据库Memcache版(原OCS) √ √ Hive √ NoSQL数据存储 Table Store(原OTS) √ √ ? Hbase0.94 √ √ ? Hbase1.1 √ √ ? MongoDB √ √ 无结构化数据存储 TxtFile √ √ JsonFile √ ? FTP √ √ ? HDFS √ √ dataX安装 创建用户组及用户 root@hmaster-hdfs:/home/ubuntu# groupadd datax root@hmaster-hdfs:/home/ubuntu# useradd -g datax datax -m -d /home/datax root@hmaster-hdfs:/home/ubuntu# passwd datax Enter new UNIX password: Retype new UNIX password: passwd: password updated successfully root@hmaster-hdfs:/home/ubuntu# usermod -G adm -a datax root@hmaster-hdfs:/home/ubuntu# su - datax datax@hmaster-hdfs:~$ id uid=1004(datax) gid=1000(ubuntu) groups=1000(ubuntu),4(adm),1002(datax) 环境变量配置 export JAVA_HOME=/usr/java/jdk1.7.0_80 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=$JAVA_HOME/bin export LANG=zh_CN.UTF-8 安装python datax@hmaster-hdfs:/home/ubuntu$ python Python 2.7.6 (default, Jun 22 2