贸易地图生成软件并行处理方案的研究与实现).docVIP

贸易地图生成软件并行处理方案的研究与实现*） 邵飞，邸瑞华 （北京工业大学计算机学院，北京，100022） 摘 要 本文通过分析贸易地图生成软件的主要特征，找出软件运行的性能瓶颈，在此基础上制定了适合该系统的基于参数扫描分析的并行处理方案，并且在集群运行平台上实现了这一并行处理方案。系统运行结果证实，该方案缩短了生成贸易地图的时间，改善了系统的整体性能。 关键词 并行处理，数扫描分析，贸易地图，消息传递接口 The Research and Implementation of Trade Map Creation Software with Parallel Processing Solution SHAO Fei,DI Rui-Hua (College of Computer Science and Technology, Beijing University of Technology,Beijing,100022) Abstract：By way of analyzing the key character of the Trade Map Creating Software in this paper,a series of performance bottlenecks of it are located and studied when running,and put the parallel processing solution based on parametric sweep which is fittest for the system into practice on the cluster.It has been concluded that the proper solution can make the time of creating Trade Map shorter and the performance of the system better. Key words：Parallel Processing,Parametric Sweep,Trade Map,MPI 1 引言 随着现代科学技术的发展，大规模数据处理向人们提出了新的挑战，并行处理为成功地解决这些问题开辟了一条可行的途径。本文的研究对象——贸易地图生成软件是中国贸易业绩评价体系中的一个子系统，它从供给与需求相结合的角度出发，根据常规经济指标对海量进出口贸易数据进行计算并把分析结果以数据表、气泡图等直观形式表示。由于贸易地图生成软件的基础数据量大且逐年递增，贸易地图需按地区、按产品、按出口国别及企业的需求生成，数量极大，原有顺序生成贸易地图的系统已经无法满足性能的要求，需要改变软件运行方式来提升系统生成贸易地图的速度。为此我们采用并行处理技术，改变了贸易地图生成软件的系统结构，实现了基于参数扫描分析的并行处理方案，解决了生成贸易地图的效率和性能瓶颈问题。 2 贸易地图生成软件的性能瓶颈 对贸易地图生成软件性能瓶颈的分析是如何确定并行处理方案，选择何种并行编程模型的重要因素。因此，要改变该软件运行方式来提升系统生成贸易地图的效率，基础是把握该软件的主要特征，关键是根据系统主要特征找出生成贸易地图的性能瓶颈。 2.1 贸易地图生成软件的主要特征 1．基础数据特性 （1）基础数据具有海量性 该软件的基础数据囊括了我国31省市14大类产品的进出口数据，数据量现已达到TB级以上,并且逐年增长。 （2）数据之间相互独立 基础数据之间藕合性、依赖性小。某省市某产品对应的要生成贸易地图的数据和某省市其余产品的数据之间没有联系，同时与其它省市产品的数据之间也没有联系。 （3）生成贸易地图时不存在数据交换 该软件在生成贸易地图计算数据时，各省市各类产品数据之间不存在数据交换和消息传递。 2．生成贸易地图的特点 贸易地图是按照年份、类别、省市、产品以及企业的需求生成，种类多、数量大。 贸易地图可分为出口贸易地图、进口贸易地图两大类，每一类又从不同角度细分为若干种类。贸易地图的个数是由年份、类别、省市和产品四个要素以及企业的需求确定的。 3．该软件的运行机制 该软件的系统体系结构采用的是三层架构：界面显示层、业务逻辑层和数据层。界面显示层负责和用户的交互；业务逻辑层负责系统逻辑和进程控制；数据层负责加载数据和Excel模板。贸易地图是一种复杂的专业数据图表，完全用Excel图表工具生成，不能满足需求。因此用Excel VBA 开发了适合贸易地图批量生成的Excel模板。系统运行机制如图1所示。 图1 贸易地图生成顺序图 从图1可知，用户提交生成贸易地图作业后，就产生生成贸易地图的主进程，执行主进程需开辟一个包含地