开源软件kettle在实际工作中的应用!.pdfVIP

Experience Exchange DCW 经验交流 开源软件Kettle在实际工作中的应用 田大业 （中移铁通有限公司河北分公司，石家庄 050000） 摘要：对于企业或者行业应用来说，我们会经常遇到各种数据的处理、转换、迁移，所以需要了解并掌握一种ETL工具 的使用。开源软件Kettle提供了一系列这方面的工具集合，可以在Window，Linux，Unix系统上运行，数据抽取高效稳定。 关键词：Kettle；数据同步；报表分析 doi：10.3969/J.ISSN.1672-7274.2017.04.130 中图分类号：TP311.52 文献标示码：B 文章编码：1672-7274（2017）04-0257-02 1 引言 是这样的，首先利用转换对象将11个Excel表格增加 在大数据时代的现代办公中，工作人员往往需 一列Area ，将增加Area列的数据插入到数据库提前 要处理大量的数据，从变化的数值到繁琐的公式， 定义的表400_feiyong _new 中，这一过程定义为报 大部分的工作任务就是处理一些重复、复杂的数 表的输入过程。 据。如何从这样的重复劳作中解放出来，并且高效 然后利用编写的SQL语句来分析表400_feiyong_ 准确的完成工作任务，这就需要一种数据转换工具 new 内的数据行，按照业务接入号码分类汇总，将同 了。在众多的数据迁移转换工具中，有这样的一款 一号码的不同费用类型按照规定的顺序输出到新的 开源并且图形化的软件，这便是Kettle 。 Excel 表中，这一过程定义为报表的输出过程。Job 执行完毕后就会将想要得到的结果保存导出，将所 2 分析 有的transformation节点用流程连接起来，就组成了 下面将列举两个利用Kettle解决的实际工作案 400报表这个Job 。 例：第一个例子是利用转换对象增加了excel表格的 执行结果：通过执行该脚本，完美的解决了新 常量，改变了excel表的输出结果；第二个例子是利 业务系统月费用统计，将复杂零碎并且格式不符合 用表输入对象，链接了Oracle 数据库，将查询结果 的数据集转换成便于统计和分析的数据集合，不但 导出到不同形式的文件。 高效低错的解决了问题，而且为以后同样类型的工 作提供了解决办法。 案例一：铁通新业务月费用统计报表 案例二：宽带月初报表统计 前情分析：铁通产品中有400 和800 的业务，每 月会产生用户月费用。总部的新业务系统在每月的 前情分析：铁通宽带报表有很多数据是服务 月初会出账，但是导出的用户月费用明细是所有用 器在月初1号的凌晨时间段生成的，这些数据必须 户的账目类型明细，并没有将该用户的总费用汇总， 在当天营业厅受理业务之前进行分析处理，否则数 而且报表的展现形式并不利于地市营收分析，这就 据就没有参考价值了。在没有利用Ke