DATASTAGE技术培训课件-经典收藏.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * DataStage性能调优 调整数据在磁盘上的分布（有效度：★★★★） 由于数据的读写对磁盘的I/O依赖比较强，我们尽量将不同的数据分配到不同的文件系统，这些文件系统被mount到不同的磁盘上，如增量文件、全量文件、Scratch目录、Datasets目录，以及目标文件的存放。对于同样的数据存放到了一组磁盘上面，我们也尽量让这些数据是以分散的跨盘存储的方式读取。结果证明，数据的读取效果将有比较明显的改善。大概是在一个磁盘上读取的2~3倍。由于I/O通道的多少和在磁盘上的分布，需要有系统管理员的支持，我们没有提供有关这种优化的测试结果数据。 DataStage性能调优 通过组件过滤多余字段（有效度：★☆） 由于引入了unix shell命令以后，对于较大数据量的读取不能有较好的效果。所以，我们采取将数据先用Sequential File Stage读入，然后再通过Copy Stage对不要处理的字段进行过滤，然后再做下一步处理。这种优化虽然增加了一个组件，但Copy Stage的速度是很快的，所以读取的速度比过滤字段要快。 DataStage性能调优 通过drop on input过滤多余字段（有效度：★☆） 在增加了一个Copy Stage的基础上，对于读入文件sequential file中不需要抽取的字段做如下设置：edit row - filed level - drop on input。这样将只读入需要抽取的字段。 DataStage性能调优 提高运行效率 加快Job除了数据的输入输出以外的逻辑的处理速度，灵活应用不同的Stage，或者走不同的处理流程，对整个Job的处理速度的提升，也会有比较显著的效果。 DataStage性能调优 对于数据较大的参数表，改用Join Stage方式（有效度：★★） 我们通常会用Lookup Stage做有关数据的匹配查找工作。对于Lookup的Reference Link，由于其是将数据放到内存中，所以当其数据量较大的时候（超过了内存的大小），我们决定用Join Stage的内连接来实现相同的功能。由于我们的源数据是排序过的，所以会减少Join Stage的处理时间。 DataStage性能调优 用LookUp File Set 代替 Sequential file（有效度：★★） 我们通常用Sequential File Stage来作为Lookup Stage的reference link的输入，在数据量很小的情况下，好像这种方式不会影响效率。但如果数据量比较大，接近了内存的大小，那么DataStage会推荐使用Lookup file set作为Lookup reference的输入。虽然生成Lookup file set需要单独的Job生成，但这对于Lookup效率的提升，还是很值得的。在多个Job需要使用相同的Lookup file set的情况下，这种方式应该会更加有效。 DataStage性能调优 将字段合并处理（有效度：★★） 我们会在数据读入的时候，过滤掉没有用的字段。而对于某些字段，在输出的结果中需要包含，但它们在处理的全程中，不会参加运算等单独的处理。我们考虑将这些连续的字段进行合并处理。这样可以减少数据的转换量。让工具只需要处理较少的需要转换的数据，对于有很多这种字段连续在一起的情况下，这种处理方式也有很好的效果。 DataStage性能调优 加强并行处理 用Cluster方式运行（有效度：★★★★★） 在本次测试有两台机器可供测试，由于DataStage Enterprise Parallel的并行功能，我们将另外的一台机器也配置到了Configure File中。这也是它区别与其它工具的一个特点。在进行大数据量，多个Job的并行处理时，这将是一个最有效的解决方法。 DataStage性能调优 同时读取处理多个文件 以通配符的方式读取多个文件。由于测试要求对于输出的文件，需要每个分行一个单独