ETL全量与增量总结.doc

Informatica PowerCenter 8.6 全量与增量总结 ζ太阳团队ξ 文档变更记录 版本编号 变更人 变更日期 备注 V1.0 郭鹏飞 2014-5-27 目 录 ETL全量与增量 3 设置Oracle连接 3 设置时间变量 3 ETL全量 4 整个过程预览 4 2创建一个Mapping 4 3源与目标的导入 5 导入源 5 导入目标表 6 4 组建Mapping 7 打开源节点 7 插入“表达式组件” 7 添加字段 7 添加字段或修改字段类型 8 添加目标表 8 添加删除条件 9 连接目标表 9 ETL增量 10 整个过程预览 10 组建Mapping 10 添加Lookup Transformation 11 时间戳的定义 11 Epression transformation设置 12 添加Update Strategy Transformation 12 测试 14 注意事项全量 16 全量 16 注意事项增量 17 ETL全量与增量 设置Oracle连接 在\oracle\product\10.2.0\db_1\network\ADMIN路径下，双击文件，对oracle连接进行配置。 例如： ods = (DESCRIPTION= (FAILOVER = yes) (ADDRESS = (PROTOCOL = TCP)(HOST =10.100.20.11)(PORT = 1521)) (ADDRESS = (PROTOCOL = TCP)(HOST =10.100.20.13)(PORT = 1521)) (CONNECT_DATA =(SERVER = DEDICATED) (SERVICE_NAME = cedb) ) ) 这个是ODS的连接地址。 设置时间变量 点击Mapping,选择，在点击。 ETL全量 ETL全量，即将源库里的数据全部导进目标库，其重要注意的是，可能要添加ETL_DATE这个字段。 2创建一个Mapping （1）单击Mapping,点击create… 这个是给Mapping起名字，起名规则：M_目标表表明。例如：M_ ODS_CE_BORROW_CONTRACT （2）单击Mapping,点击Edit… 可以修改Mapping名，修改完成之后点击OK 3源与目标的导入 导入源 （Source Analyzer）点击这个按钮 在工具栏点击Sources这个按钮 点击Import from Datebase… 点击…（如果已有ODBC data source,则直点击进行选择） 点击添加，选择Oracle in ….(如果要是MySQL的源就选择上面的MySQL ODBC …) 完成后点击OK。 输入用户、密码 点击Connect 即可(注：我的ODBC data source:ODS(OraDb10g_home2)是我自己配置的，一般的是ODS(OraDb10g_home1)) 当其显示Re-connect时，表示连接上了源数据库。 展开这两个节点，单击所需要的源表，点击OK即可。 导入目标表 （Target Designer）点击这个按钮 其他的步骤与导入源一直，可参考上边的文档。 4 组建Mapping （Mapping Designer）点击这个按钮 打开源节点 选择这个节点并打开。 选择你的源表，点击右键，选择Open.这样源表就会在右边的Designer界面显示了。 插入“表达式组件” 点击F(x)组件，在右侧Designer界面在单击一下。 添加字段 将源中的字段全选，拖入表达式组件中。 添加字段或修改字段类型 有的目标表可能比源表多了一个ETL_DATE，这时候需要我们在Mapping过程‘Expression Transformation’这个组件，添加一列，命名为ETL_DATE，字段类型 为date/time且只输出（），在后面条件框里边输入TO_DATE($$today,yyyy-mm-dd hh24:mi:ss) 注：$$today 是在Mapping中自己定义的时间变量！ 这时候需要我们在Mapping过程‘Expression Transformation’这个组件 例如:源表中的ahead_time的字段类型是nstring型，而目标中字段类型 为date/time 双击表达式组件，选择Ports页，点击选中ahead_time行，单击复制 在点击粘贴 单击按钮，在弹出来的对话框内写入to_date(ahead_time,yyyy-mm-dd hh24:mi:ss) 输入完成后点击Validate,显示…successfully后即转换成功，点击确定-OK-