ETL数据增量抽取机制.docxVIP

ETL中的数据增量抽取机制【摘要】: 为实现数据仓库中数据的高效更新，探讨在数据仓库的ETL(数据的抽取、转换和装载)子系统中进行数据增量抽取时所采用的常见机制，对这些机制的原理，条件，方法以及运行效率等方面进行了详细的阐述，并从兼容性，完备性、性能和侵入性4个方面分析和比较了各种数据增量抽取机制的优劣性。最后，总结了选取数据增量抽取机制所应遵循的主要原则和标准。关键词：数据抽取转换与加载；增量抽取；数据仓库；商业智能0引言增量抽取是数据仓库ETL(extraction，transformation，loading，数据的抽取、转换和装载)实施过程中需要重点考虑的问题。在ETL过程中，增量更新的效率和可行性是决定ETL实施成败的关键问题之一，ETL中的增量更新机制比较复杂，采用何种机制往往取决于源数据系统的类型以及对增量更新性能的要求。本文重点对各种方法进行对比分析，从而总结各种机制的使用条件和优劣性，为数据仓库项目中ETL工程的实施提供增量抽取技术选型方面的参考。1 ETL概述ETL包括数据的抽取、转换、加载。数据抽取：从源数据源系统抽取目标数据源系统需要的数据；数据转换：将从源数据源获取的数据按照业务需求，转换成目标数据源要求的形式，并对错误、不一致的数据进行清洗和加工；数据加载：将转换后的数据装载到目的数据源。ETL作为构建数据仓库的一个环节，负责将分布的、异构数据源中的数据