Informatica增量抽取图文教程.docxVIP

Informatica 增量抽取图文教程源表T_SOURCETABLE初始有两条测试数据目标表T_TARGETTABLE初始默认清空一、按时间戳抽取首先，我们根据CREATE_DT来进行数据的增量抽取，模拟场景为第一次抽取全部数据，第二次抽取第一次抽取之后新增的数据。MAPPING图如下，主要使用了一个Expression组件：选择Mappings菜单的参数与变量选项设置变量v_pumpdt新建变量$$v_pumpdt， 类型选择变量，数据类型选择 date/time，汇总方式选择MAX。下面的初始值用于第一次全量更新，可以根据实际情况设置，我这设置成01/01/1970 00：00：01。修改SQ组件的过滤方式：可以先用生成SQL按钮自动生成select语句，然后下面增加过滤条件：whereT_SOURCETABLE.CREATE_DT=to_date($$v_pumpdt,mm/dd/yyyy hh24:mi:ss) andT_SOURCETABLE.CREATE_DTto_date($$$SESSSTARTTIME,mm/dd/yyyy hh24:mi:ss)即只过滤出从变量v_pumpdt值到抽取任务执行时间值之间这段时间create的数据。完成后可以用验证按钮验证语句的准确性。这里要注意日期时间类型字段的数据格式，由于服务器设置不同可能格式不同，而如果你取到的数据值和你指定的格式不匹配，在后面执行抽取任务时会报错。我这个测试环境的格式是mm/dd/yyyy hh24:mi:ss修改Expression组件，增加一个表达式，把$$v_pumpdt的默认值置为SESSSTARTTIME的值, 这样下次执行时, 则会从这个时间，即上次session执行时间开始算起, 达到个增量的目的。新增表达式设为date/time型，I、O、V端口这里选择V，设置表达式内容为：SETVARIABLE($$v_pumpdt,SESSSTARTTIME)设计完成后保存Mapping文件，然后打开Workflow设计。新建一个workflow，设定好源表和目标表的数据连接。保存，并执行workflow，可以在monitor中看到任务执行成功Target表中插入了源表中的两条数据，即完成了首次的全量抽取。这时候我们可以在workflow中查看到变量的变化情况：我们可以看到变量v_pumpdt的值变成了我们这次workflow开始执行的时间。在这里说明一下，如果不再执行增量抽取，需要再次全量抽取数据时，只需要在这里执行reset values，即可把变量值初始化回之前设定的01/01/1970 00:00:01。上文中提到的日期格式也可以在这里看到是mm/dd/yyyy hh24:mi:ss格式，如果是其他格式请相应修改SQL中的格式。接下来我们验证增量抽取的执行情况，在源表中新增两条数据，一条是用于抽取的“测试数据3”，创建时间介于第一次抽取时间与第二次抽取时间，另一条是对比数据“测试数据4”，虽然是新增数据，但我们把create_dt设为第一次抽取时间之前。再次运行workflow，查看结果，我们可以看到只有符合条件，即创建时间介于两次抽取之间的测试数据3被正确抽取。验证按时间戳抽取数据正确执行后，即可将workflow设为按计划执行， monitor中进行监控即可。二、比对更新抽取上文介绍了按时间戳字段对数据进行增量抽取，但实际情况我们有些源表中没有有效的时间戳字段，或者例如上文例子中，有个新增数据“测试数据4”无法根据时间戳进行增量抽取，这种时候怎么办呢？我们可以根据数据比对的方式进行增量抽取，还是以刚才的测试数据为例：Mapping图如下，主要用到了一个Lookup组件和一个Update Strategy组件2、创建Lookup组件时会提示你需要Lookup哪个表的数据，这里指定成目标表，我们设定的场景是需要根据源表的ID值去Lookup目标表，如果不存在，增插入，如果ID存在，并且NAME相同，则拒绝插入，如果ID存在但是NAME不同，则update更新。这里是为了演示效果，用了NAME字段，实际项目中，可能会根据modified_dt或者多个字段去进行比对。Lookup组件创建好后会自动加载目标表的字段，这时候我们将SQ组件中的ID和NAME字段拖拽到Lookup组件中，会自动创建ID1和NAME1字段。先将Lookup组件中的ID和NAME拖拽到Update Strategy组件中，再将SQ组件中的全部字段拖拽进Update Strategy组件（此时ID和NAME会自动更名成ID1和NAME1），再从Update Strategy组件拖拽到目标表组件，即Update Strategy组件中的ID1、NAME1和目标表中的ID、N