Kettle插表操作说明文档V11.12介绍.docVIP

kettle插表操作说明 1.配置Java环境变量 安装JDK后，然后配置Java环境变量。 新建系统变量变量名：JAVA_HOME变量值：C:\Program Files\Java\jdk1.5.0_17（该目录为JDK安装的目录）编辑CLASSPATH，如果没有该变量则新建变量名：CLASSPATH变量值：%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; 编辑PATH，如果没有则新建变量名：PATH 变量值：.;%JAVA_HOME%\bin; （注：该变量值置于PATH前面，如果你只有一个JDK版本，可以不用编辑PATH，如果为了区别版本，那还是配置PATH变量值）。 2.编写Query Query分为Query的定义、Execute、Fetch、Close四部分，其中定义和Execute部分需要根据具体需要编写和拟定，Fetch和Close部分为固定结构，只需要和Query的定义对应即可。[详见Query示例.txt，其中以取科室字典信息为例] 3.Spoon工具的使用 3.1 建资源库 资源库可以看做是Kettle使用和运行的环境和缓存库，Kettle的资源库可以用数据库来充当，也可以用文件夹来充当，我们这里推荐使用后者。 所以，下图中，选择第二个类型的资源库进行新建。当然，需要首先先新建个文件夹来供其使用。 浏览选定相应的文件夹即可，ID和名称可以自定义。 3.2 新建转换 3.3 在转换中新建数据库连接 并测试数据库连接，保证连接正确。 下一步，共享这个转换里面的数据库连接，保证其他以后新建的转换也可以共用。 3.4 在转换中新建单元实现功能 在“核心对象”页签中有Kettle提供的输入输出以及其他操作单元，可以根据具体需要拖拽到转换的空白处使用。 主要的流程分为：“表输入”---[数据转换操作]---“表输出” 这三大部分。 表输入和表输出需要用到我们前面建好的数据库连接，用来指明调用的哪个库哪个Query程序、以及插入哪个库的哪张表。 如上图，“HIS”为调用的query所在的库。 调用Query的写法如上图方框中所示。call为关键字，各个包之间用“下划线”连接，包名和类名之间用“点”，类名和query名之间用“下划线”连接。 可以用“表输入”界面下方的“预览”按钮对所调用的Query进行数据预览，确保成功从HIS端取到数据。 上图为“表输出”的配置界面。第二张图中，点击“获取字段”，可以自动获取到从HIS取到的数据变量和要插入的表的字段名。红色箭头所指为要插入的表的字段，蓝色为获取到的数据变量，点击“输入字段映射”，对他们进行对应赋值。 根据以上步骤，就已经可以完成对表的插入，只需要点击位于“转换”框左上角的绿色三角“运行”按钮运行转换即可。但存在一个问题，一般的，我们是批量插入数据，比如插入1000条，第500条的时候，遇到一条不合规范的数据插入出错了，那后面的数据就会停止继续插入。所以，就需要我们在表输出之后添加一个“文本文件输出”。 在添加“文本文件输出”前，需要对表输出进行配置。如下图。 为了对所有取到的数据字段进行错误排查和保护，“字段”这个页签，我们选择获取全部字段。这时，会发现新定义的那四列也出现在了这里。 这样，遇到不合格数据，kettle会将他们存在文本中，将合格的数据插入表中，并将出错的列和错误展示在txt中.。 3.5 转换中常用到的其他操作单元 以“值映射”为代表说明。 值映射是用来实现数据值域转换的单元。 如上图，红色箭头所示为需要对照的变量名，蓝色箭头所示为对照后定义的变量名（可以新定义一个，也可以是原来的变量名，表示覆盖），褐色箭头所示为不在对照范围内时候，蓝色箭头所指的变量的值。红色方框部分为对照数据，支持从excel中的两列直接复制粘贴进来。 3.6 新建一个作业 作业可以用来将已经完成的转换进行引用，并设置调用的时机和频率。 添加开始、转换、结束单元。 引用写好的转换 设置调用的时机和频率 上图表示开启作业后，每天晚上23点会开始上传数据。 3.7 运行作业 以上说到如何新建一个作业，下面介绍两种运行作业的方法。 在spoon工具里打开这个作业，点击左上角的绿色三角按钮，一直放着运行。 编写bat批处理文件，打开命令行一直挂着运行作业。 批处理文件里代码如下： D: cd D:\data-integration //Spoon工具的文件夹路径 kitchen /file D:\Kettle数据目录\作业.kjb //作业在资源库里的路径 Pause