数据抽取.docVIP

数据抽取 数据抽取目录 定义 数据抽取方式数据源采用关系数据库 数据源非关系数据库 展开定义 数据抽取方式 数据源采用关系数据库 数据源非关系数据库 展开编辑本段定义　　数据抽取是从数据源中抽取数据的过程。编辑本段数据抽取方式数据源采用关系数据库 　　实际应用中，数据源较多采用的是关系数据库。从数据库中抽取数据一般有以下几种方式。 　　(1)全量抽取　　 全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换成自己的ETL工具可以识别的格式。全量抽取比较简单。 　　(2)增量抽取　　 增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增、修改、删除的数据。在ETL使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据准确地捕获到;性能，尽量减少对业务系统造成太大的压力，影响现有业务。目前增量数据抽取中常用的捕获变化数据的方法有： 　　a.触发器：在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据。触发器方式的优点是数据抽取的性能较高，缺点是要求在业务数据库中建立触发器，对业务系统有一定的性能影响。 　　b.时间戳：它是一种基于递增数据比较