采用MapReduce的VLBI并行处理方法-中国云计算.PDFVIP

第49 卷 第4 期 西 安 交 通 大 学 学 报 Vol.49 No.4 2015 年4 月 JOURNAL OF XI’AN JIAOTONG UNIVERSITY April 2015 DOI: 采用MapReduce 的VLBI 并行处理方法 1,2 2 2 2 田斌 ，何强，王佳，郑雨西 (1.西安交通大学电子与信息工程学院，710049，西安；2.西安卫星测控中心，710043，西安) 摘要：针对传统甚长基线干涉测量（very long baseline interferometry，VLBI）并行处理存在逻辑复杂、 数据存储和计算扩展性较差等缺点，基于MapReduce 设计了一种VLBI 观测数据相关的并行处理方法。该方 法采用模型周期作为数据并行处理基本单元，构建数据关联算法分割观测数据使各台站同一模型周期数据对 齐到同一波前，设计实现数据相关计算的 Map 过程，使用 Reduce 对各模型周期结果进行综合处理以得到最 终结果。实验结果表明：该方法在积分周期包含的模型周期数量大于节点CPU 核数时性能比传统方式低25 % 左右，在积分周期包含的模型周期数量小于节点 CPU 核数时通常能提供更高的计算效率，并且能简化 VLBI 并行相关处理的复杂度，具有更好的数据存储和计算可扩展性。 关键词：甚长基线干涉测量；数据相关处理；并行处理；MapReduce 中图分类号：TP311 文献标志码：A 文章编号：0253-987X(2015)04-0000-00 A Parallel Processing Approach of VLBI Using MapReduce 1, 2 2 2 2 TIAN Bin , HE Qiang , WANG Jia , ZHENG Yuxi ( 1. School of Electronics and Information Engineering, Xi’an Jiaotong University, Xi’an 710049, China; 2. Xi’an Satellite Control Center, Xi’an 710043, China) Abstract: A VLBI parallel processing approach based on MapReduce is proposed to solve problems in traditional VLBI parallel processing patterns such as logic complexity, poor data storage and computing scalability. Model periods are used as primary data processing units, and a related data splitting method is constructed to align each model period’s data of every station. A data correlation mapping is designed and the final correlation results are obtained by using Reduce to synthesize each model period’s processing result. Experimental results show that the efficiency of the new approach is about 25% lower than traditional ways when