一种分布式网络型通用数据集管理系统的设计和实现.pdfVIP

一种分布式网络型通用数据集管理系统的设计和实现 王鹏飞 (中国科学院大气物理研究所，北京100029) 摘要本文介绍了一种管理大量科研数据的一种方法，使用户可以在远程直接 使用服务器中的数据进行科学计算和进行远程数据管理。结果适用于多种计算 机平台。 关键词数据集管理科学计算 多平台 分布于网络 一、总体构思和设计目标 设计这样一个基于网络的跨平台数据系统的目的在于可以处理不适合于关系数据库 (RDB)管理的科研数据，如大量的气象观测资料，地形资料等。这里将其称为通用数据管 dataset 理系统，简记为CDM(commonmanagementsystem)，具有如下功能和特点：①透过 网络直接调用数据；②可以管理大气科研数据；③管理未来可能的新型数据；④使用方便， 只要连接专用库例程即可以嵌入个人程序中；⑤使用专用网络端口，TCP／IP通讯过程中 加密；⑥用户管理及统计；⑦响应速度快，至少可以同时响应多个用户的连接请求；⑧可以 系统，不同数据类型的网络数据库数据；⑩安装简洁，普通用户权限就可以安装整个系统。 二、实现方法 在试用了DATABANK、LDM等气象数据管理系统之后，并结合当今网络数据库发 展的新需要，以C语言及socket接口，编写了本套数据管理系统。使用UNIX工作站中 并发服务器方式进行数据服务，使连在Internet上的用户可以方便地调用由CDM系统所 管理的全部数据资源。 1．网络接口部分 由于TCP／IP协议的广泛使用，成为互联网络事实上的标准，我们的系统中选择这种 协议进行数据连接。 之间，为了不与常用软件冲突，系统默认的端口为9809，当然这个端口可以通过配置文件 进行修改。 具体的实现代码参见CDM系统源文件。 ·98· 2．进程控制部分 一般来说。像CDM服务器这种进程应放在后台等待用户连接，由于要能同时相应多 个用户的联线请求，设计时可以使用UNIX系统中的fork调用，产生多个子进程，每个连 接都要有一个服务器进程进行应达，每次都要消耗部分系统资源，同时相应的最大用户数 目与系统的配置有关，一般来说CDM系统占用的CPU时间较多，网络传输数据量也大， 应将联线数目限制在10以下。 与进程有关的代码参见CDM系统源文件。 3．对传输数据进行加密 目前使用的TCP／IP协议是ipv4标准，数据传输过程中未进行加密，这为目前许多 的网络服务协议造成不安全因素，可能被窃取用户口令或数据。 出于对安全性的考虑，在CDM系统设计的最初阶段就考虑到了对信息进行加密，用 户从连接到服务器时刻开始，直到调用数据结束，所有的通讯信息都以密文的形式传输， 而且采用比较快速的算法，基本上不会增加传输所需时间。 4．数据处理模块 数据处理部分是服务器程序的重要组成部分，系统考虑的数据类型比较广，因此不可能 将所有的数据解码程序全写到服务器代码中，程序中借鉴apacheWEB服务器的方法，将不 同数据的处理程序以模块的形式放在系统中，当需要某一类解码程序工作时，服务器进程调 用相应的模块来处理，这样既简化了主服务器的复杂程度，又保证了良好的扩充性能。 5．数据与平台无关性设计 大部分用于科研计算的数据格式为bin格式，由于不同的计算机其编码顺序和浮点 数的定义规则不同，所以有可能出现在一台机器上的数据拿到另外一台计算机上时，数据 值发生了变化，这是跨平台数据处理系统中遇到的普遍问题。 对于这种常见问题的处理没有一定的标准方法。在CDM系统中，服务器会自动将 本平台上的bin格式数据转换成与平台无关的ascii格式数据，然后进行传输，而调用数据 数据文件来使用。经过这样一系列不复杂的变换，实现了数据的跨平台使用问题。 6．Fortran语言和C语言联合编程 用户使用C语言来调用数据，基本不会出现什么问题。 现Fortran和C连接的问题，一般编译器为C语言的函数生成中间码时要加入两条下划 前再加如一个‘．’。 ·99· 在CD