ETL增量抽取方式.docVIP

ETL增量抽取方式 ETL增量抽取： 要实现增量抽取，关键是如何准确快速的捕获变化的数据。优秀的增量抽取机制要求ETL能够将业务系统中的变化数据按一定的频率准确地捕获到，同时不能对业务系统造成 太大的压力，影响现有业务。相对全量抽取而言，增量抽取的设计更复杂. 1、触发器方式 触发器方式是普遍采取的一种增量抽取机制。该方式是根据抽取要求，在要被抽取的源表上建立插入、修改、删除3个触发器，每当源表中的数据发生变化，就被相应的触发器将 变化的数据写入一个增量日志表，ETL的增量抽取则是从增量日志表中而不是直接在源表中抽取数据，同时增量日志表中抽取过的数据要及时被标记或删除。为了简单起见，增量日志表一般不存储增量数据的所有字段信息，而只是存储源表名称、更新的关键字值和更新操作 类型(knsen、update或delete)，ETL增量抽取进程首先根据源表名称和更新的关键字值，从源表中提取对应的完整记录，再根据更新操作类型，对目标表进行相应的处理。 例如，对于源表为Oracle类型的数据库，采用触发器方式进行增量数据捕获的过程如下： 这样，对表T的所有DML操作就记录在增量日志表DML_LOG中，注意增量日志表中并没有完全记录增量数据本身，只是记录了增量数据的来源。进行增量ETL时，只需要根据增量日志表中的记录情况，反查源表得到真正的增量数据。 Sql代码 (1)创建增量日志表DML_LOG： ? create table DML_LOG( ? ID NUMBER primary key,?／／自增主键 ? TABLE NAME VARCHAR2(200)． ／／源表名称 ? RECORD ID NUMBER,?／／源表增量记录的主键值 ? DML TYPE CH根(1)。∥增量类型，I表示新增：U表示更新；D表示删除 ? EXECUTE DATE DATE?／／发生时间 ? )； ? (2)为DML_LOG创建一个序列SEQ_DML_LOG上，以便触发器写增量日志表时生成ID值。 ? (3)针对要监听的每一张表，创建一个触发器，例如对表Test创建触发器如下： ? create Or replace trigger T BEFORE INSERT OR UPDATE ? OR DELETE ON T for each row ? declare 1 dml type varchar2(1)； ? begin ? if INSERTING then l_dml type：=I’； ? elsif UPDATING then I_dml_type：=。tY； ? elsif DELETING then l_dml_type：=D’； ? endif； ? if DELETING then ? insert into DML_LOG(ID，TABLE_NAME，RECORD— ? ID，EXECUTE_DATE，DMLjYPE) ? values(seq_dml_log．nextval，’Test，：old．ID，sysdate， ? l_dml_type)； ? else ? insert into DML_LOG(ID，TABLE_NAME，RECORD_ ? ID，EXECUTE_DATE，DMLjYPE) ? values(seq_dml_log．nextval，。Test，：new．ID，sysdate，L ? tirol_type)； ? endif； ? end； 2、时间戳方式 时间戳方式是指增量抽取时，抽取进程通过比较系统时间与抽取源表的时间戳字段的值来决定抽取哪些数据。这种方式需要在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。有的数据库(例如Sql Server)的时间戳支持自动更新，即表的其它字段的数据发生改变时，时间戳字段的值会被自动更新为记录改变的时刻。在这种情下，进行ETL实施时就只需要在源表加上时间戳字段就可以了。对于不支持时间戳自动更新的数据库，这就要求业务系统在更新业务数据时，通过编程的方式手工更新时间戳字段。使用时间戳方式可以正常捕获源表的插入和更新操作，但对于删除操作则无能为力，需要结合其它机制才能完成。 更新时间戳： 3、全表删除插入方式 全表删除插入方式是指每次抽取前先删除目标表数据，抽取时全新加载数据。该方式实际上将增量抽取等同于全量抽取。对于数据量不大，全量抽取的时间代价小于执行增量抽取的算法和条件代价时，可以采用该方式。 4、全表比对方式 全表比对即在增量抽取时，ETL进程逐条比较源表和目标表的记录，将新增和修改的记录读取出来。优化之后的全部比对方式是采用MD5校验码，需要事先为要抽取的表建立一个结构类似的MD5临时表，该临时表记录源表的主键值以及根据源表