百硕客户通讯,总第23期（2011年3月1日）方案.PDFVIP

百硕客户通讯，总第23 期（2011 年3 月1 日） 1 1 百硕客户通讯，总第23 期（2011 年3 月1 日） 2 2 百硕客户通讯，总第23 期（2011 年3 月1 日） 高性能主机数据Sort 处理软件—SyncSort ■文/ 百硕技术顾问 王晓兵 内主机用户在数据集中的环境下，每天面对着必须在有限的时间内完成海量数据批处理的压 力，其中对数据的 Sort、Merge 和Copy 处理是批量窗口中耗用相当时间的工作。如国内一家 国 大型银行在批量过程中为有效进行数据的 Sort、Merge 处理，需要并发运行上千个作业，处 理的数据量以 TB 为单位进行；而据国外的调查机构数据显示，在数据中心，数据 Sort 相关的处理占 据了批量处理窗口中大约25% 的CPU 时间，因此对Sort 相关处理的优化可以显著降低批处理的整体时 间窗口和资源耗用。 本文介绍的 SyncSort 是一个在国外使用非常广泛的主机高性能数据 Sort 处理软件，希望能够对国 内用户有所借鉴。 SyncSort for z/OS 作为 z/OS 系统上专注进行数据 Sort、Merge 、Copy 处理的高性能工具软件，与 传统实现相同功能的数据处理软件相比，其基于专利的数据 Sort 处理算法，利用不断更新的硬件系统 和操作系统的高级功能和高级访问方法，使用动态优化技术，能够为数据 Sort 处理带来显著的性能提 升和操作灵活性；该软件同时支持OS/390 （2.10 以上版本）操作系统和S/390 兼容主机。 SyncSort 的特点 SyncSort 依据专利算法，能够显著降低Sort 处理作业的CPU Time 和Elapsed Time ，进而提升系统 整体的效能。SyncSort 在执行的过程中，其动态优化技术能够依据正 在使用的 CPU 型号，监控系统状态，包括 CPU 利用率、DASD 争 夺、控制器 Cache 、中央存储可用性以及 Paging 活动，通过利用 PAV 技术，使用MIDAW 和新型号z 处理器的zIIP Facility，依据系 统状态做出自动响应，降低作业的CPU 消耗和处理时间。 性能提升：与传统Sort 处理软件相比，能够降低CPU Time 的比 率为30-40% ，能够缩短作业处理时间的比率为20-40% 。 SyncSort 的资源管理特性  动态存储管理（Dynamic Storage Management – DSM ） DSM 是 SyncSort 在监控和动态控制 Sort 性能及资源使 用的专利技术。 DSM 持续监控中央存储的可用性，以及 DASD 和 DASD I/O Channel 的性能与活动，这些信息被记录在内部特 殊的历史数据库中。 DSM 通过分析当前的资源使用状态和 Sort 作业的特 征，结合历史数据库信息，基于并发运行作业的需求、系统 的状态、以及系统其它运行作业的压力等综合考虑，决定并 3 3 百硕客户通讯，总第23 期（2011 年3 月1 日） 发作业的资源分配，不仅能够使 Sort 作业的执行性能达到最优，同 时能够保证系统的整体运行效能