DataX插件开发指南.PDFVIP

DataX 插件开发指南 版本号 修改内容 修改日期 修改人 V0.1 创建 2011-09-08 迟南 V0.2 增添插件编译信息 2012-02-20 迟南 目录 一、 概述4 二、 Reader 插件开发（以httpreader 为例）5 1、 确定插件所需配置的参数5 2、 构建相应包和类结构5 3、 实现重载方法7 4、 自定义split 方法9 三、 Writer 插件开发（以streamwriter 为例） 12 1、 确定插件参数、构建相应包和类结构 12 2、 实现重载方法 13 四、 插件运行配置 （以httpreader 为例） 15 1、 注册插件 15 2、 修改build.xml 文件，并执行ant 命令将本插件打成jar 包 15 3、 新建插件目录，测试运行 15 4 、 安装发布插件 15 一、概述 DataX 是一个在不同类型的数据库(文件系统)之间交换数据的工具，采用“框 架+插件”的结构，框架相当于一个数据中转平台，而插件则为访问不同类型的 数据库(文件系统)提供实现。 DataX 插件分为Reader 和Writer 两类。Reader 负责从数据源端读取数据到 Storage(交换空间)，Writer 负责将Storage 中的数据写入到数据目的端。Storage 可以适配不同种类的Reader 和Writer，从而实现数据同步。目前DataX 版本已 经提供的Reader 插件如下： 1、hdfsreader : 支持从hdfs 文件系统获取数据。 2、mysqlreader: 支持从mysql 数据库获取数据。 3、sqlserverreader: 支持从sqlserver 数据库获取数据。 4 、oraclereader : 支持从oracle 数据库获取数据。 5、streamreader: 支持从stream 流获取数据（常用于测试） 6、httpreader : 支持从http URL 获取数据。 提供的Writer 插件如下： 1、hdfswriter ：支持向hdbf 写入数据。 2、mysqlwriter ：支持向mysql 写入数据。 3、sqlserverwriter ：支持向sqlserver 写入数据。 4 、oraclewriter ：支持向oracle 写入数据。 5、streamwriter ：支持向stream 流写入数据。（常用于测试） 用户可以根据需要开发自己的Reader Writer 插件。现在以HttpReader 和 StreamWriter 插件为例，使用eclipse 分别说明Reader 和Writer 插件开发过程。 二、Reader 插件开发（以httpreader 为例） 1、 确定插件所需配置的参数 DataX 插件运行过程需要用户指定运行参数信息，例如HttpReader 需要告之从具体的URL 地址获取输入数据流，因此需要HttpReader 用户 指定URL 信息。插件所需的参数在插件所在目录下的ParamKey.java 文件 指定。该文件将被DataX 用在作业配置过程中解析生成作业配置xml 。 HttpReader 插件参数示例如下，需要注意注释尽量参照源码规范，DataX 运行时，会根据此处声明的参数和注释生成对应的模板Job_xml.此处参数 设置非常重要，如图： 图 1 2、 构建相应包和类结构 在源码文件的plugins.reader 包下构建httpreader 包，再在httpreader 包下创建类HttpReader，并让之继承common.plugin.Reader. 图 2