ETL经验分享资料.ppt

ETL经验分享 江苏世轩科技 张琳讲解概要 一、ETL启动JVM的调整 二、ETL的使用技巧 1、数据获取 2、改变插件复制数量的运用 3、并行的设置 4、连接池深入配置 三、范例 1、子映射应用 2、单条循环逻辑设计 3、有趣的父子级别 4、多级join 5、改变插件复制数量的错误和正确应用 6、XML生成的简单和复杂方式 一、ETL启动JVM的调整 JVM：通俗些讲就是java容器，是个大环境。 所有的java程序都在jvm中运行； JVM模式：jvm有2种模式,1为client，1为server，通过java –version查看；一般情况下java会自动判断采用哪种模式，它会根据操作系统来选择，这也是为什么我们要用linux的原因；server模式启动会比client慢10%，但性能提升5-8倍或更高；理想的硬件环境在2G内存和2CPU以上。 JVM参数:(栈为自动分配，堆为手动) 1)堆大小 -Xmx：最大可用内存（需要设置，主要解决OutOfMemoryError: Java heap space?错误 ） -Xms：最小可用内存，可与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存 （需要设置，与上一个配套） -Xmn：年轻代大小。整个堆大小=年轻代大小 + 年老代大小 + 持久代大小。持久