【盛唐】JAVA版数据清洗工具操作手册v1.0.doc

【盛唐】JAVA版数据清洗工具操作手册v1.0 文档密级：普通 文档状态：[√ ] 草案 [ ]正式发布 [ ]正在修订 变更履历 序号 版本 变更描述 修订人 审核/日期 批准/日期 1.0 草案 屈雪  目录 1 系统初始化 3 1.1 创建MySQL中间库etl-mid 3 1.2 修改中间库配置文件conf/mysql.xml 5 1.2.1 中间库配置文件 5 1.3 导入建表脚本conf/etl-mid.sql 5 2 系统启动 7 2.1 启动ETL工具 7 3 主界面 8 3.1 系统主界面 8 3.1.1 主界面介绍 8 4 模块功能 9 4.1 任务 9 4.1.1 任务 9 4.1.2 打开配置文件 9 4.1.3 配置文件编写指导 10 4.1.4 测试数据源（是否可以连接数据库） 11 4.1.5 执行任务或停止任务 12 4.1.6 定时设置 14 4.1.7 详细错误日志 15 4.2 字典管理 16 4.2.1 字典管理主界面 16 4.2.2 机构类别管理 17 4.2.3 字典管理 23 4.2.4 字典子项管理 25 4.3 参数配置 27 4.4 系统帮助 28 4.4.1 系统帮助 28 5 常见或重点关注的问题 29 5.1 导入字典文本 29 5.1.1 格式及编码 29 5.2 数据库 30 5.2.1 密码 30 系统初始化 创建MySQL中间库etl-mid 1.安装MySQL数据库。 2.安装Navicat Premium数据库管理工具。 图 1- 1：安装Navicat Premium 3.创建新连接，操作如图1-2所示。 图 1- 2：创建新连接 4.添加数据库连接信息，操作如图1-3所示。 图 1- 3：连接数据库 5.右键点击连接，新建数据库。操作如图1-4所示。 图 1- 4：新建数据库 6.新建数据库，操作如图1-5所示。数据库名称为：“etl-mid”。字符集需选择“utf-8—UTF-8 Unicode”；排序规则设置为“utf8_general_ci”。 图 1- 5：新建数据库 修改中间库配置文件conf/mysql.xml 中间库配置文件 1.中间库配置文件为文件夹config下的mysql.xml。 图 1- 6：中间库配置文件 2.中间库配置文件中，可以配置服务器名称、数据库名称、登录名、密码和数据源最大连接数，如图1-7所示。 图 1- 7：中间库配置 导入建表脚本conf/etl-mid.sql 1.打开管理工具Navicat Premium，右键点击数据库，运行SQL文件。 图 1- 8：运行SQL文件 2.选择运行的sql文件（如图1-9所示），操作如图1-10所示。 图 1- 9：中间库 图 1- 10：运行SQL文件 3.也可以导入建表脚本，输入命令行：sourse 文件目录/conf/etl-mid.sql。 系统启动 启动ETL工具 1.将名为ETLTools.rar的压缩包解压，得到如图2-1所示的文件夹appTool。 图 2- 1：解压压缩包 2.进入文件夹，双击etltools.jar,启动工具，如图2-3所示。 图 2- 2：双击启动工具 图 2- 3：工具主界面 主界面 系统主界面 主界面介绍 1.通过顶端导航选择操作；其它三个区域可进行相关信息的查看。 图 3- 1：主界面介绍 2.可以通过点击如图3-2所示的箭头，伸缩区域，方便查看相应信息。也可以通过鼠标，拖动边框，调整区域适合的大小。 图 3- 2：区域伸缩 模块功能 任务 任务 1.点击“任务”，可以看到如图4-1所示菜单。 图 4- 1：点击任务 打开配置文件 1.点击“打开配置文件”，位置如图4-2所示。弹出如图4-4所示窗口。 图 4- 2：打开配置文件 2.选择配置文件，并打开，任务列表中将添加一条任务（当任务taskId没有重复，且配置文件编码为UTF-8时）。配置文件写法，可参考template.xml。操作如图4-4所示。 图 4- 3：配置文件模板 图 4- 4：选择配置文件 图 4- 5：添加新的任务 配置文件编写指导 1.mysql.xml配置文件为该工具的数据库配置文件，即中间库配置文件。根据实际情况修改服务器地址，数据库名称等信息。 图 4- 6：清洗工具数据库配置 2.添加任务时需打开配置文件，配置文件编写请参考template.xml。mysql、sqlserv