并行ETL工具可扩展技术地研究与开发.docVIP

并行ETL工具可扩展技术的研究和开发 摘 要 ETL工具负责从分布的、异构数据源中抽取数据并对其进行清洗和转换，最后装载到数据集市或数据仓库中，是数据挖掘和联机分析处理的基础。ETL工具通常提供了一些常用的基本操作，但是由于ETL应用场景多样、操作逻辑复杂，这些通用操作往往并不能满足用户的需求，这就要求ETL工具必须具有一定的可扩展性，以满足各种特殊需求。同时，在大数据时代，ETL工具通过整合云计算技术以处理海量数据。传统ETL工具通过集成并行ETL工具Hive和Pig的方式来弥补大数据处理方面的不足，但是存在商用工具价格高昂而开源工具集成度不够的问题，因此，较好地集成Hive和Pig以实现功能的扩展非常重要。另一方面，ETL流程作为一个逻辑计划，在解析成物理计划的过程中需要根据优化规则进行一系列的优化，而优化规则并不是一成不变的，在ETL工具的使用过程中，新的优化规则会被总结出来，因此，还需要使优化规则具有较高的可扩展性。 本文开发基于Hadoop的、B/S模式的并行ETL工具，并研究如何实现对并行ETL工具进行扩展，完成了如下几项主要工作： 通过分析MapReduce并行计算框架的实现细节，设计实现了两种方案来向现有工具中嵌入定制的MapReduce代码以完成功能扩展从而可以处理复杂的需求。 通过分析总结Hive和Pig脚本语言的语法特点，结合实际应用需求，选取了一整套基本操