2006关于数据增量抽取模拟实现.pdfVIP

2006-2007 年 中国IT应用技术蓝皮书 IT168 2007 年1 月 关于数据增量抽取的模拟实现 ITPUB 技术专家 郑亮 风子 摘 要 ETL 是数据仓库的一个重要处理环节，为了减少对业务数据库性能压力， 一般都是采取增量抽取的方式，增量抽取包括读取日志文件、前后映像对比、时间戳等等 技术。本文讨论的是基于时间戳的形式对数据进行增量抽取，并就此给与原理讲解和代码 实现。 关 键 词 数据增量抽取 数据仓库 ETL 数据登台区 时间戳 1. 增量抽取原理 ETL 是数据仓库的一个重要处理环节，Extract 即是从业务数据库中抽取数据,Transform 即是根据业务逻辑规则对数据进行加工的过程，Load 即是把数据加载到数据仓库的过程。 通常为了尽可能的减少对业务系统的压力和性能影响，或者因为网络传输异构数据库等 原因，一般都是根据特定的增量抽取原则，将数据从业务数据库导出到 flat 文本文件或者 XML 文件中，也叫数据缓存区或者数据登台区（这名字起得特别别扭）。本文讨论的是从业 务数据库直接抽取到数据仓库。数据仓库是一种体系架构，而不是一种纯粹的技术。实际上， 大多数数据库都提供了类似的不同数据库直接连接的接口，例如SQLServer 的链接数据库， Oracle 的透明网关等等。 关于数据的增量抽取也是一个重要的讨论话题，其原因主要是在超大数据量情况下任何 关系数据库都无法满足数据处理的要求。在《数据仓库》(Inmon)一书中，主要描述了以下 3 种方法： 1、数据增量抽取，主要是基于时间戳的； 2、扫描增量文件，实际上就是关系数据库的归档日志； 3、前后映像对比。 当然每种方法都有其优势和劣势，本文旨在讨论基于时间戳的数据增量抽取的实现，无 意探讨和比较这三种方法的优劣。 当然在进行基于时间戳的数据增量处理之前，首先要满足以下假设。 1、假设在业务数据库中存在着一个特定的时间属性，作为增量抽取的唯一标识。 2、假设在这个字段上存在着索引字段。这样我们的数据增量抽取模拟脚本就不会遭遇 到性能瓶颈。当然我们还会通过将大事务尽可能变成小事务的原则进行优化。 3、假设业务数据库和数据仓库能够以某种方式直接连接。 4 、抽取过程中，尽量避免数据转换、清洗的动作，以减少对业务数据库的性能影响。 在满足了以上条件之后，我们才能进一步考虑数据增量抽取脚本的实现。 增量抽取t2~t1 之间 的数据 当前最大时 当前最大时 间戳 t1 间戳t2 业务数据库 数据增量抽取的原理 数据仓库 下面开始对基于时间戳的数据增量抽取进行系统设计： 1、建立链接数据库。 2、首先需要定义一张数据字典表，定义需要进行处理的任务，其中主要包括业务数据 库和目标数据库的表名、字段列表、以及where 条件等。 序 字段名称 字段描述 字段类型 备注 号 1 TaskName 任务名称 Varchar(3 2) 2 TargetTable 数据仓库目标表名称 Varchar(3 2) 3