通过并行算法改进FY-3+250M+植被日收工处理时效.pdfVIP

通过并行算法改进FY-3250M植被日收工处理时效 贾树泽1程朝晖1冯小虎1 屈兴之1 赵金雁2 孙知文3 吕拈鹏3 1．运行控制室 2．星地通公司 3．503所 摘要 随着卫星遥感技术的发展，对卫星气象业务系统的时效性、稳定性提出越来越高的要求。研究开发基于卫星 气象业务需求的并行优化算法，并在实际应用中发挥效畿，是提升卫星气象业务系统高性能高可用镌力的必要途 径。并行处理的性能与计算机体系结构密切相关，不但取决于CPU，还与系统架构、指令结构、存储部件的存取 速度等因素有关。从业务调度和产品算法角度，通过采用分层控制的并行处理模式，即流程级的粗粒度并行，产 品作业级的细粒度并行，结合资源预测、断点容错处理等并行匹配调度算法达到优化业务系统软件结构，提高业 务质量的目的。作为尝试，本文讨论了在FY-3业务机群上采用的基于空间区域划分的分粒度并行优化算法；以具 MERSI 有一定的气象卫星业务处理典型特征的FY-3 250M植被日产品的处理为例子，讨论了针对海量数据产品处 理如何在产品作业级采用细粒度并行匹配优化算法，提高产品处理的计算速度。测试表明，通过以上优化手段可 使MERSI250M植被指数日产品时效提高5个小时左右，且可有效减轻I／O负载瓶颈，均衡系统负载，提高系统 的吞吐率。这种优化方法对气象卫星其他具有类似数据处理特点的产品具有一定的借鉴意义。 关键词：提高并行处理的性能；并行处理；性能优化；附I250M植被产品 1引言 随着卫星遥感技术的发展，对地面应用业务系统的时效性、稳定性，可靠性提出越来越 高的要求。近年来，卫星资料处理业务系统多采用双机机群热备架构以及聚集型的fat—tree 业务应用结构，产品算法也大多使用串行或多线程计算加串行读写的传统模式。而在风云三 号业务系统开发和运行过程中，我们发现面对升级换代的业务规模，传统的、经典的业务模 式和算法已不能支持数据处理的高时效要求，特别是当业务数据吞吐需求呈指数级增长的情 况下，传统的每个产品处理单元维持一个串行I／O数据流的业务编程模式，极大地影响系统 的效能。新一代卫星业务系统的构建需要引入高性能并行处理技术，充分认识和分析多机集 群系统的计算机资源优势，不断改进运行模式，提升处理性能，突破“生产效率”瓶颈。我 们的思路是分别从业务调度和产品算法角度，分析系统“瓶颈”点所在，采用“资源匹配算 法”、“多粒度并行算法”协同业务模式，解决“瓶颈”问题，提高运行时效。 因此，我们着力在FY3A系统的两个环节上进行了并行算法改进。一方面，在COSS多仪 器分段数据预处理的并行调度控制部分采用基于性能预测、计算连接权重的并行调度算法“信 息素动态加权法”并初步实现了生产性运行，在一定程度上实现了高可用主一主互备双机间的 动态负载合理分配，快速找出匹配的运行节点响应处理请求，从而提高了对大规模实时数据 的流程级并行处理效率。进而，我们尝试将“信息素动态加权法”这种启发式并行算法与产 MVI 品处理的科学算法并行化改进相结合，选取了FY-3众多产品中较有代表性的产品FY-3 250米分辨率植被指数产品进行“产品作业级的细粒度并行”研究。采用细粒度并行匹配优化 算法，提高产品处理的计算速度．测试表明，通过以上优化手段可使MERSI250M植被指数日 产品时效提高5个小时左右，且可有效减轻i／o负载瓶颈，均衡系统负载，提高系统的吞吐 率。本文将详述我们的研究过程和应用效果。 113 2产品生产过程的可并行性分析 FY一3MYI250米分辨率植被指数产品具有较高的分辨率及鞍为丰富的光谱通道其日， MERSI25 旬，月产品对地物的植被特征有较好的观剥效果。图1为FY一3A oM日产品全球图示 例。 ≮ 旌憨漱邋龋