如何在informatica中提高mapping的性能.pdfVIP

我如何在informatica 中提高mapping 的性能 Mapping 的调优 何时调优mapping 在开发过程中最好的调优时间是，在系统测试完成之后。集中于mapping 一级的调优应当在 目标和源系统的数据库的调优完成之后。 用Session 日志来确定源，目标或者转化过程中存在着性能的瓶颈。 Session 的日志中含有线程的摘要记录： MASTER PETL_24018 Thread [READER_1_1_1] created for the read stage of partition point [SQ_test_all_text_data] has completed: Total Run Time = [11.703201] secs, Total Idle Time = [9.560945] secs, Busy Percentage = [18.304876]. MASTER PETL_24019 Thread [TRANSF_1_1_1_1]created for the transformation stage of partition point [SQ_test_all_text_data]has completed: Total Run Time = [11.764368]secs, Total Idle Time = [0.000000]secs, Busy Percentage = [100.000000]. MASTER PETL_24022 Thread [WRITER_1_1_1] created for the write stage of partition point(s) [test_all_text_data1] has completed: Total Run Time = [11.778229] secs, Total Idle Time = [8.889816] secs, Busy Percentage = [24.523321]. 如果一个线程忙碌达到100%,其他的线程有一个明显的较低的值。那么有着高忙碌率的那个 线程就是一个瓶颈。如上例子所示，这个session 有一个转化的界限。 确认目标的瓶颈： 最通常的性能的瓶颈会发生在Informatica Server 向目标数据库写的时候。你可以通过配 置一个session 写向一个平面文件，来确认一个目标的瓶颈。如果当你写向一个平面文件的时 候，session 的性能得到极大的，那么你就有一个目标的瓶颈。 考虑通过完成以下手段来提高性能： * 删除 indexes 和 key constraints. * 提高checkpoint 的间隔. * 用bulk loading. * 用external loading. * 增加数据库网络包的大小 * 优化目标数据库 确认数据源的瓶颈： 如果 session 是从关系数据库中读取数据，你可以用一个过滤的转换、一个读的测试的 mapping 或一个数据库的查询来确认数据源的瓶颈： * 过滤的转换-测量给定数量的数据的处理时间，然后在 mapping 中在每个 source qualifier后加上一个总是false的filter transformation来确保没有数据通过ilter transformation.如果新的session 运行时和原来消耗的时间一样，那么你就有一个数据源 的瓶颈。 * 读的测试 session.比较用一个 session 处理给定数量的数据的时间与复制这样一个 session 并把source qualifier后面的所有转化都去掉同时把source qualifier连接 到平面文件的目标上，如果新的session 消耗的时间还是那么多，那么在数据源上有瓶颈。 *从 session 的日志中提取一个查询，并在一个查询的工具中运行。测算返回第一条记录和所 有记录的时间。如果有明显的不同，那么你就有可能需要解决数据源的瓶颈 考虑通过完成以下手段来提高性能： * 对查询调优 * 用条件过滤 * 增加数据库网络包的大小 * 用IPC协议连接 Oracle 数据库 你也可以确认mapping 的瓶颈，通过性能计数器。 Readfromdisk 和 Writetodisk 计数器: 如果一个 session 有 Aggregator, Rank, 或者说 Joiner transformations,那么检查每个Transformation_readfromd