基于消息传递的跨编程语言异构数据计算架构研究.pdfVIP

基于消息传递的跨编程语言

异构数据计算架构研究

信息收发，可提供稳定、可靠的跨编程语言的分布式

1概述

计算服务。消息传递架构主要以通信为核心，各个计

随着信息技术和互联网产业的蓬勃发展，传统的算节点大多相互独立，拥有独立的内存地址空间，各

单机计算很难满足逐渐增大的计算能力，在这种背景节点之间通过网络收发数据进行数据共享［2］。最常见

［3］

下，无数的计算机从业者投身其中，提出了许多优秀的是基于消息传递接口（MPI）的并发编程模型框架。

的并行计算和分布式计算体系架构，在实际应用中最消息传递架构主要依赖网络通信（暂时不讨论单机的

为灵活的一种便是基于消息传递的分布式计算架构。进程通信式并行计算），可连通同一网络内大量的计

采用消息传递技术［1］，使用标准输入输出流进行算节点，非常适用于大规模集群式的分布式计算。

——————————目前的分布式计算框架过于依赖编程语言。虽

收稿日期：2023-04-07然MPI在设计之初考虑到了跨编程语言、跨平台，但是

从目前已有的成熟框架来看，不同的框架均有自己特可靠的UDP协议）进行协作通信，软件架构的拓扑如

定的编程语言。以MPICH为例，只可使用C/C++或图1所示。该架构的核心计算部分为所有的计算节

Fortran进行编程［4］。对于交叉学科的研究人员来说，点，控制节点原则上不参与计算，只负责任务下发、结

一旦选定了框架，即选定了编程语言，无形中增加了果收集、用户交互等工作。系统将代码编写、计算任

他们的学习成本。针对一些专业性强的小众编程语务调度等相结合，使用户既可以充分利用所有节点的

言而言，以NCL（TheNCARCommandLanguage，是一计算资源，又不用参与繁复的任务下发、调度节点等

种专门为科学数据处理以及数据可视化设计的高级操作。

语言，很适合用在气象数据的处理和可视化上［5］）为其中消息队列系统为整个系统的核心通信枢纽，

例，它在气象学和地理学中有着非凡的意义，但是其负责系统内所有消息的识别和转发。

［7］

并不支持分布式计算，也没有相关的分布式计算框容器引擎作为每个计算任务的运行载体，将各

架。因此，想要加速一个NCL程序只有2种解决方案，个计算任务之间进行隔离，做到跨编程语言，但语言

一是使用其他支持分布式计算的语言重构代码，二是环境间又互不影响。

增强单机的性能。这在一定程度上增加了科研人员控制节点采用前后端分离技术，使用Vue和Ajax

改进的难度。所以，一个能实现真正跨编程语言的分技术与后端API接口对接，使用JSON格式进行数据交

布式并行计算框架显得非常重要。互。

2技术架构设计3系统整体功能结构

采用Go语言作为核心的开发语言，提供了松耦合针对本系统的功能需求，系统整体功能结构如图

的分布式计算服务［6］，各节点之间通过KCP协议（一种2所示。系统功能模块主要包括控制模块、WebIDE管

用户侧控制节点计算节点