datax插件开发指南.pdf

Linux 公社（ LinuxIDC.com）于 2006 年 9 月 25 日注册并开通网站， Linux 现在已经成为一种 广受关注和支持的一种操作系统， IDC 是互联网数据中心， LinuxIDC 就是关于 Linux 的数据 中心。 LinuxIDC.com 提供包括 Ubuntu ，Fedora，SUSE技术，以及最新 IT 资讯等 Linux 专业类网站。 DataX 插件开发指南 版本号 修改内容 修改日期 修改人 V0.1 创建 2011-09-08 何健超 目录 一、 概述 . 4 二、 Reader插件开发（ 以 httpreader 为例 ） 5 1、 确定插件所需配置的参数 . 5 2、 构建相应包和类结构 5 3、 实现重载方法 7 4 、 自定义 split 方法 9 三、 Writer 插件开发（ 以 streamwriter 为例 ） 12 1、 确定插件参数、构建相应包和类结构 12 2 、 实现重载方法 13 四、 插件运行配置（以 httpreader 为例） 15 1、 注册插件 15 2 、 修改 build.xml 文件，打包 15 一、 概述 DataX是一个在不同类型的数据库 (文件系统 )之间交换数据的工具， 采用 “框 架 +插件”的结构，框架相当于一个数据中转平台，而插件则为访问不同类型的 数据库 (文件系统 )提供实现。 DataX插件分为 Reader和 Writer 两类。 Reader负责从数据源端读取数据到 Storage(交换空间 )，Writer 负责将 Storage 中的数据写入到数据目的端。 Storage 可以适配不同种类的 Reader和 Writer ，从而实现数据同步。目前 DataX版本已 经提供的 Reader插件如下： 1、 hdfsreader : 支持从 hdfs 文件系统获取数据。 2、 mysqlreader: 支持从 mysql 数据库获取数据。 3、 sqlserverreader: 支持从 sqlserver 数据库获取数据。 4、 oraclereader : 支持从 oracle 数据库获取数据。 5、 streamreader: 支持从 stream 流获取数据（常用于测试） 6、 httpreader : 支持从 http URL 获取数据。 提供的 Writer 插件如下： 1、 hdfswriter ：支持向 hdbf 写入数据。 2、 mysqlwriter ：支持向 mysql 写入数据。 3、 sqlserverwriter ：支持向 sqlserver 写入数据。 4、 oraclewriter ：支持向 oracle 写入数据。 5、 streamwriter ：支持向 stream 流写入数据。 （常用于测试） 用户可以根据需要开发自己的 Reader Writer 插件。现在以 HttpReader 和 StreamWriter 插件为例，使用 eclipse 分别说明 Reader和 Writer 插件开发过程。 二、 Reader 插件开发（ 以 httpreader 为例