2006关于数据增量抽取的模拟实现.pdfVIP

2006-2007 年 中国IT应用技术蓝皮书 IT168 2007 年1 月 关于数据增量抽取的模拟实现 ITPUB 技术专家 郑亮 风子 摘 要 ETL 是数据仓库的一个重要处理环节，为了减少对业务数据库性能压力， 一般都是采取增量抽取的方式，增量抽取包括读取日志文件、前后映像对比、时间戳等等 技术。本文讨论的是基于时间戳的形式对数据进行增量抽取，并就此给与原理讲解和代码 实现。 关 键 词 数据增量抽取 数据仓库 ETL 数据登台区 时间戳 1. 增量抽取原理 ETL 是数据仓库的一个重要处理环节，Extract 即是从业务数据库中抽取数据,Transform 即是根据业务逻辑规则对数据进行加工的过程，Load 即是把数据加载到数据仓库的过程。 通常为了尽可能的减少对业务系统的压力和性能影响，或者因为网络传输异构数据库等 原因，一般都是根据特定的增量抽取原则，将数据从业务数据库导出到 f