- 1、本文档共9页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
?
? ? ? ?
? ? ?
批量作业调度、数据挖掘,最值得推荐的几款ETL工具
? ? ? ?
?
?
?
?
?
?
?
? ? ?
? ? ?
? ? ?
?
?
?
ETL是数据仓库中的非常重要的一环,是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
下面给大家介绍一下什么是ETL以及ETL常用的三种工具——Datastage,Taskctl,Kettle。
什么是ETL?
ETL,Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
数据仓库结构
通俗的说法就是从数据源抽取数据出来,进行清洗加工转换,然后加载到定义好的数据仓库模型中去。目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。
ETL是BI项目重要的一个环节,其设计的好坏影响生成数据的质量,直接关系到BI项目的成败。
为什么要用ETL工具
在数据处理的时候,我们有时会遇到这些问题:
当数据来自不同的物理主机,这时候如使用SQL语句去处理的话,就显得比较吃力且开销也更大。
数据来源可以是各种不同的数据库或者文件,这时候需要先把他们整理成统一的格式后才可以进行数据的处理,这一过程用代码实现显然有些麻烦。
在数据库中我们当然可以使用存储过程去处理数据,但是处理海量数据的时候存储过程显然比较吃力,而且会占用较多数据库的资源,这可能会导致数据资源不足,进而影响数据库的性能。
而上述遇到的问题,我们用ETL工具就可以解决。ETL工具具有以下几点优势:
支持多种异构数据源的连接。(部分)
图形化的界面操作十分方便。
处理海量数据速度快、流程更清晰等。
ETL工具介绍
1.Datastage
IBM公司的商业软件,专业的ETL工具,但同时价格不菲,适合大规模的ETL应用。
[下载链接](http:///Pub/Develop ... taStage.v7.5.1A-iSO 下载链接)
使用难度:★★★★
2.Taskctl
商业软件,国产专业的ETL工具平台。价格上比Datastage便宜很多,适合大规模的ETL应用。
下载链接
使用难度:★★★
3.Taskctl Web版
免费,在商业版 Taskctl 6.0 基础上纵向扩展而来,可跨多平台适合中小企业IT自动化类系统建和数据开发人员,如数据系统批量调度自动化、系统运维自动化、企业数据资产监控等等
下载地址:?去公众号 【taskctl】回复内容?软件?即可
使用难度:★
4.Kettle
免费,最著名的开源产品,是用纯java编写的ETL工具,只需要JVM环境即可部署,可跨平台,扩展性好。
下载链接
使用难度:★★
三种ETL工具的对比
Datastage、Taskctl、Kettle三个ETL工具的特点和差异介绍:
1.操作
这三种ETL工具都是属于比较简单易用的,主要看开发人员对于工具的熟练程度。
2.部署
Kettle只需要JVM环境,Taskctl 需要服务器和客户端安装,而 Datastage 的部署比较耗费时间,有一点难度。
3.数据处理的速度
大数据量下 Taskctl 与 Datastage 的处理速度是比较快的,比较稳定。Kettle的处理速度相比之下稍慢。
4.服务
Taskctl 与 Datastage 有很好的商业化的技术支持,而 Kettle 则没有。商业软件的售后服务上会比免费的开源软件好很多。
5.风险
风险与成本成反比,也与技术能力成正比。
6.扩展
Kettle的扩展性无疑是最好,因为是开源代码,可以自己开发拓展它的功能,而 Taskctl 和Datastage 由于是商业软件,基本上不支持。
7.Job的监控
三者都有监控和日志工具。
在数据的监控上,个人觉得 Taskctl 的实时监控做的更加好,可以直观看到数据抽取的情况,运行到哪一个控件上。这对于调优来说,我们可以更快的定位到处理速度太慢的控件并进行处理,而 Datastage 也有相应的功能,但是并不直观,需要通过两个界面的对比才可以定位到处理速度缓慢的控件。有时候还需要通过一些方法去查找。
8.网上的技术服务支持
Kettle Datastage Taskctl 相对来说,Kettle 在遇到问题去网上快速找到解决方法的概率比较低,只有通过网上翻阅技术文档和加入社群询问,效率比较低;而相比 Datastage 和 Taskctl 则比较完善、由于是商业软件,网上不仅有完善的技术文档,24小时线上还有技术远程支持答疑人员。
项目经验分享
文档评论(0)