DataStage优化培训笔记.docVIP

DataStage优化培训笔记 Sequential file 1、注意reject mode的设置 2、优化：（在文件定长的前提下） number of readers per node 设定单节点的多个读取，根据实际情况设置多读个数 read from multiple nodes 设定多节点的数据读取 Change Capture Stage 比较数据后会进行排序，如果之前的数据已经做了排序，则需要改变排序属性。 注意before 和 after 的设置，不要设反。 Copy Stage 在内存中操作的组件，建议1进多出 用copy组件 Tansformer Stage 是内嵌的程序，一旦作业执行到此stage 程序会暂停进程，外部调用so的程序， Transformer组件中包含的函数，可以自己编写函数进行嵌入（通过routine实现） filter不能用于复杂的判断，copy不能增加赋默认值的字段.. Sort Stage 尽量不用，属于滞留组件，要等数据齐全后再能进行sort操作 LookUp和Join的区别需要注意 join一定要进行排序再进行处理（效率较低）， LookUp是流水线实现（超过800M不能用此stage） Data Set Stage Stage自动设置数据为定长，实现多值读取，可以通过drop on input来限制输入数据。 生产环境优化： 关注CPU(并发路数,逻辑节点数,物理作业数),内存,I/O交互 1、在Oracle Enterprise 中使用select语句时，提取尽量少的字段数据 2、在使用LookUp Stage时，如果数据从Oralce出来的，在LookUp table（参照表中）可以设置 Lookup type＝ sparse(此方式是数据不提取到内存，直接在表中进行操作) 3、在Oracle Enterprise中设置Partition table="需要查询的表名"可以实现多进程读取数据 4、在文件系统中，为平衡节点负载，建议数据的输入和输出放在不同的磁盘上（可通过节点进行设置，如Sequential_File中设置FILE的路径） 5、尽量少用repartition（sort stage 、join stage等组件需要对数据进行repartition） 6、要保证有足够的scratch空间，当此空间满了之后，系统会把数据转移到tmp空间，效率变低 7、网络瓶颈会影响作业效率（局域网通讯，Node之间的通讯问题） 8、在MAIN机器上，设置是否关闭jobmonitor进程（pools"" 为默认节点，需要进行节点运行，如果对””进行赋值，则不作为默认节点，不做运行。一个逻辑节点不能超过CPU的个数） 9、upsert 和 Load的区别 （预估万条记录以下的少量数据使用insert，） ， 大量的用load）。 10、Stage中的Node Map除特殊情况（单机器与外部通讯），否则无需指定。 11、减少组件自身的sort功能(join,aggrigator,change capture,difference) 12、优化流程,减少不必要的处理,复杂组件通过自定义组件实现(增量数据查找后到全量进行查找)