ETL通用解决方案_oracle+存储过程实现.docVIP

ETL通用解决方案——oracle+存储过程实现 方案理念--四化理念 数据规格化 处理自动化 信息集中化 操作人性化 架构 通过视图实现来至两个不同数据库的表的结构完全一致, ?在结构完全相同的两个表之间进行数据同步, 问题变得相当简单. 同步代码如下. ? ? ETL ---初始同步 delete from ods_table; insert into v_table select * from db_table; commit; ? ---新增同步 insert into v_table select * from db_table t where t.id not in (select id from v_table); ? commit; ? ? ---变更同步 ? update ods_table t set t.c_number = (select db.c_number from db_table db where db.id = t.id) where t.c_number != (select db.c_number from db_table db where db.id = t.id); ? commit; 实现两个表结构完全一致的方法如下 ---建表 CREATE SEQUENCE SEQ_ETL_INCREASE_ID INCREMENT BY 1 START WITH 1 ??NOCACHE; ? /*==============================================================*/ /* Table: ETL_TABLES ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?*/ /*==============================================================*/ CREATE TABLE ETL_TABLES ?( ?? ID ? ? ? ? ? ? ? ? NUMBER ? ? ? ? ? ? ? ? ? ? ? ? DEFAULT -1 NOT NULL, ?? TABLE_NAME ? ? ? ? VARCHAR2(100) ? ? ? ? ? ? ? ? ? NOT NULL, ?? TABLE_TYPE ? ? ? ? VARCHAR2(30) ? ? ? ? ? ? ? ? ? ?NOT NULL, ?? TABLE_ROOT_IN ? ? ?VARCHAR2(30), ?? TABLE_NEED_CREATE_VIEW NUMBER ? ? ? ? ? ? ? ? ? ? ? ? DEFAULT 1, ?? TABLE_CREATE_VIEW_NAME_PREFIX VARCHAR2(30) ? ? ? ? ? ? ? ? ? DEFAULT v, ?? DB_LINK_NAME ? ? ? VARCHAR2(100), ?? CURRENT_VERSION ? ?NUMBER ? ? ? ? ? ? ? ? ? ? ? ? DEFAULT 1 NOT NULL, ?? VERSION_HISTORY ? ?VARCHAR2(3000) ? ? ? ? ? ? ? ? DEFAULT init input NOT NULL, ?? DEVELOP_DATE ? ? ? DATE ? ? ? ? ? ? ? ? ? ? ? ? ? DEFAULT SYSDATE NOT NULL, ?? DEVELOP_BY ? ? ? ? VARCHAR2(100) ? ? ? ? ? ? ? ? ?DEFAULT cyyan@isoftstone NOT NULL, ?? LAST_MAINTAIN_DATE DATE ? ? ? ? ? ? ? ? ? ? ? ? ? DEFAULT SYSDATE NOT NULL, ?? LAST_MAINTAIN_BY ? VARCHAR2(100) ? ? ? ? ? ? ? ? ?DEFAULT cyyan@isoftstone NOT NULL, ?? MEMO ? ? ? ? ? ? ? VARCHAR2(500), ?? STATUS ? ? ? ? ? ? NUMBER ? ? ? ? ? ? ? ? ? ? ? ? DEFAULT 1, ?? CONSTRAINT PK_ETL_TABLES PRIMARY KEY (ID) ); ? COMMENT ON TABLE ETL_TABLES IS 此表用于维护ETL涉及到所有表, 包括: 1, db---业务系统数据库 2, ods---操作数据数据库 3