PowerCenter学习文档+说明+手册详解.ppt

* * * 下面我们就来介绍一下Expression表达式组件。 * * * 下面我们来做一个表达式组件的练习。业务需求是将原始客户信息记录转换成合格标准的数据导入到暂存区。 第五天 系统性能调优 Partition功能 Source Partition Source Partition 分区点的数目依靠实际环境来决定 分区要求source table须有一个字段能够把数据平均化 Source filter里的语法遵循所连数据库的语法 Source的分区类型一般默认为传递 Target Partition Target Partition Target Partition 对于数据表结构的目标表分区没有特殊配置 对于目标是文件的分区需要选择merge的类型。 对于分区出来的文件，要注意文件命名。 Partition运行结果 Thank you ! Q A * * * * * * * * * * * * * * * * * * * * * * 这是部分组件列表， Source Qualifier: 从数据源读取数据，ETL中的动作”E”就是在这个组件体现； Expression: 行级转换，相当于我们写SQL的时候在select里面写的表达式，实现行级的转换； Filter: 数据过滤，和SQL中的where作用一样； Sorter: 数据排序，相当于order by的作用； Aggregator: 聚合，我们要做sum汇总，求平均值，最大值，最小值等等，就是用聚合组件来做； Joiner: 异构数据关接连接，如果一个源来自oracle数据库，另一个来自DB2，或者是文本数据，这俩种数据源如果要做关系，就只能使用Joiner来实现； Lookup: 查询连接，有点象我们做代码转换的时候，将代码转成中文描述，或者从另一个表中或文本数据中得到更详细数据，就可以使用Lookup来做； Update Strategy: 对目标编辑 insert, update, delete, reject，对目标数据要增删改就使用Update组件； Router: 条件分发，对数据按照条件进行分组； Sequence Generator: 序列号生成器，和oracle的Sequence一样的，生成序列号的组件。 * 这是另外几个常用组件列表， Normalizer: 记录规范化，实现行列转换； Rank: 对记录进行TOPx，做排名的时候经常使用； Union: 数据合并，和SQL的Union一样功能； Transaction Control: 对装载数据按条件进行事务控制，包括控制一次加载多少条记录，回滚等等； Stored Procedure: 存储过程组件； Custom: 用户自定义组件； HTTP: WWW组件； Java: Java自编程组件。 还有抽取XML、MQ消息队列、应用系统，ERP，webservice等等的接口组件。 * User Defined Function 函数介绍 用户自定义函数可以在Designer中定义，在Expression中使用 可以使用任何有效的函数（除了Aggregation函数），也可以使用在同一个文件夹里的其它UDFs 在FCS中UDFs不支持快捷键，也就是说它们只能在自己被创建的文件夹中被访问 组件类型 用户自定义函数UDFs是文件夹级别的对象 应用范围 较少的字段形成的比较复杂的函数逻辑 此函数逻辑在多个mapping中都使用 User Defined Function 第三天 Update Strategy组件 User Defined Function Java Transformation组件 Stored Procedure组件 Java Transformation组件 组件功能 调用现有的java程序，提供java接口 对java程序进行编译，并提供编译结果 组件类型 Active or Passive 应用范围 对复杂的业务逻辑如果有写好的java程序 对于用infa实现比较麻烦的业务逻辑 Java Transformation组件 第三天 Update Strategy组件 User Defined Function Java Transformation组件 Stored Procedure组件 Stored Procedure组件 组件功能 调用现有的存储过程 被调用的存储过程有无参数都可 一个mapping中可调用多个存储过程，并可设定执行顺序 组件类型 Active or Passive 应用范围 对复杂的业务逻辑如果有写好的存储过程 对于用infa实现比较麻烦的业务逻辑 Stored Procedure组件 可以选择执行时间