ETL数据增量抽取方案分享.pdfVIP

ETL 数据增量抽取方案 一、 ETL 简介 数据集成是把不同来源、格式和特点的数据在逻辑上或物理上有机地集中，从而提供全 面的数据共享，是企业商务智能、数据仓库系统的重要组成部分。ETL 是企业数据集成的 主要解决方案。 随着信息化建设的发展，巨大的投资为公安行业建立了众多的信息系统，以帮助公安进 行内外部业务的处理和管理工作，但是随着信息系统的增加，各自孤立工作的信息系统将会 造成大量的冗余数据和业务人员的重复劳动。数据集成是公安应用集成的重要环节，实现数 据集成，可以使更多的人更充分地使用已有数据资源，减少资料收集、数据采集等重复劳动 和相应费用。 但是，在实施数据集成的过程中，由于不同用户提供的数据可能来自不同的途径，其数 据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格式不能转换或数据转换格式 后丢失信息等棘手问题，严重阻碍了数据在各部门和各应用系统中的流动与共享。因此，如 何对数据进行有效的集成管理已成为增强公安战斗力的必然选择。ETL 是实现数据集成的 主要技术。 ETL 中三个字母分别代表的是Extract、Transform 、Load，即抽取、转换、加载。 （1）数据抽取：从源数据源系统抽取目的数据源系统需要的数据；（2）数据转换：将从 源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数 据进行清洗和加工； （3）数据加载：将转换后的数据装载到目的数据源。 ETL 作为构建数据仓库的一个环节，负责将分布的、异构数据源中的数据如关系数据、 平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集 市中，成为联机分析处理、数据挖掘的基础。现在越来越多地将ETL 应用于一般信息系统 数据的迁移、交换和同步。一个简单的ETL 体系结构如图 1.1 所示。 页码 1 二、 ETL 抽取方案 ETL 过程中的主要环节就是数据抽取、数据转换和加工、数据装载。为了实现这些功 能，ETL 工具会进行一些功能上的扩充，例如工作流、调度引擎、规则引擎、脚本支持、 统计信息等。 2.1 数据抽取 数据抽取是从数据源中抽取数据的过程。实际应用中，数据源较多采用的是关系数据库。 从数据库中抽取数据一般有以下几种方式： 2.1.1 全量抽取 全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数 据库中抽取出来，并转换成自己的ETL 工具可以识别的格式。全量抽取比较简单。 2.1.2 增量抽取 增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL 使 用过程中，增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获 方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到； 性能，不能对业务系统造成太大的压力，影响现有业务。目前增量数据抽取中常用的捕获变 化数据的方法有： 页码 2 2.1.2.1 触发器方式（又称快照式）： 在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源 表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表 中抽取数据，临时表中抽取过的数据被标记或删除。 优点：数据抽取的性能高，ETL 加载规则简单，速度快，不需要修改业务系统表结构， 可以实现数据的递增加载。 缺点：要求业务表建立触发器，对业务系统有一定的影响。 2.1.2.2 时间戳方式： 它是一种基于快照比较的变化数据捕获方式，在源表上增加一个时间戳字段，系统中更 新修改表数据的时候，同时修改时间戳字段的值。当进行数据抽取时，通过比较系统时间与 时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新，即表的其它字段 的数据发生改变时，自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新，这就 要求业务系统在更新业务数据时，手工更新时间戳字段。 优点：同触发器方式一样，时间戳方式的性能也比较好，ETL 系统设计清晰，源数据抽 取相对清楚简单，可以实现数据的递增加载。 缺点：时间戳维护需要由业务系统完成，对业务系统也有很大的倾入性（加入额外的时 间戳字段），特别是对不支持时间戳的自动更新的数据库，还要求业务系统进行额