黄少伟-基于自动化采集数据库的.docVIP

基于自动化采集数据库的 分布式数据存储系统 黄少伟 （采油工艺研究院自动化室） 摘要：油田的长期运行会累积大量的数据，而这些数据位于不同的数据服务器中，本文提出了一种统一管理这些数据，共享数据的方法。本文目前主要叙述了基于当前自动化采集数据库，进行相关数据统一操作的方法。 关键词：数据库 分布式 统一数据接口 0 引言 油田的各种运行数据是开发和建设油田、实现油田可持续发展的重要基础。因此进行油田各种数据的共享，提高资源共享程度，扩大数据的共享范围对于油田的发展和决策具有重要的意义。随着油田自动化投入后的长期运行，必定会累积巨大的历史数据。对这些历史数据的分析，有助于油田今后的发展。针对自动化采集数据库，可能存在多个，位于不同的单位，物理上处于分散的地方，但都是通过油田网络联在一起的，如果能够将这些数据库逻辑上联系在一起，统一对外提供数据，对今后在这些数据上开发一些数据分析、决策等软件，就不需要考虑数据存在哪儿，需要连接几个数据库才能得到数据的问题。所以建立分布式存储平台管理各种数据，对外统一提供数据的读写接口，在很大程度上可以减少软件的开发和应用的时间，而开发数据分析、决策等软件只需要关心数据怎么用即可。 1 分布式环境下的采集数据库 随着自动化的投入运行，这些采集的数据分散于各个不同的数据服务器上，这些数据库可能具有相同或者不同的结构。为了共享这些数据，需要通过网络将这些数据服务器单独联系在一起，组成一个虚拟的数据库，对外统一提供数据的读写操作。它在逻辑上是一个统一的数据库，而在物理上确是分散分布在不同的地区，可以连接不同类型操作系统之上不同类型的数据库。对于获取数据的客户而言，不需要知道这些数据具体的物理位置，位于哪台数据库上，以及运行的数据库的类型，只需要集中统一访问此分布式数据库即可[1]。 数据来源于DDE的采集数据库。DDE的数据库之中存放了单口井每天的运行数据，包括各种压力、流量，功图等数据，对于分析单井的运行状况起到了很大的作用。保存这些数据是很重要的。 为了将各个数据库连接起来，组成一个分布式的虚拟数据库，需要做的工作有很多。总的来说，具体实现分布式存储系统，要能做到以下几点： 1、所有采集的数据不可删除，如此一来，数据库的大小会随着时间的流逝而越来越大。 2、可扩展性，有利于增加各种功能，比如分布式计算，这需要在开始阶段设计一个好的系统结构。 3、增加同样结构数据库节点时，要做到便捷迅速，易于安装。 4、要能够记录各种系统故障，友好提示给用户。 5、所有的数据库要做到数据的备份和恢复。 2 面向分布式的存储系统的设计 2.1 系统架构 本文提出的分布式存储系统具有四层架构（不包括应用客户端或者WEB服务），系统整体架构如图1所示： 图 1 分布式存储系统基本架构图 系统有四层结构，分别为子节点（数据库，数据服务器）、Cache服务器、主服务器和中心数据库以及备份服务器、负载均衡模块。 在子节点，主要为各个工区或单位存放采集数据的数据库，安装客户端软件，对节点与主服务器的通讯进行管理。主要用来报告数据库类型，采集数据库的类型，数据库结构，表名等，以及用来对此数据库上的数据进行一些计算，比如各个采集量的每日平均数，累计数据等。 主服务器和中心数据库主要用来管理各个子节点，以及备份数据库。需要管理节点是否在线、故障原因、运行状态、读取数据、修改数据、进行数据的备份和迁移恢复等工作。对客户端而言则为提供不同类型的数据的读取和修改工作。主服务器可以有多台。 Cache 服务器将客户端读取频率高的数据放入缓存中，避免频繁从节点取数据。对于不会修改的数据的可放入Cache服务器中，改善客户端的读取速度。此处对于系统的性能影响很大，设计到写和修改操作时，可考虑改为更新队列。Cache服务器至少有一台。 负载均衡模块可以和主服务器集成在一起，当用户访问量大时，必须对用户的访问进行分流，均衡到若干台服务器上。此模块对于大量用户的访问非常有效。 2.2 子节点的操作 子节点与主服务器之间为C/S结构，子节点上的客户端软件负责管理此节点，接受主服务器分配的任务，并将任务结果返回给主服务器。 对于子节点而言，涉及到的可能包括增加一个子节点、撤销一个子节点、更换IP、出现故障导致失效。 首先增加一个子节点，只需要安装客户端软件，配置客户端参数，比如：读取主服务器列表，读取客户端的数据库参数，设置数据库的数据类型（运行数据，地质数据、文档等）。在这里，将子节点的类型做了扩展，不仅可以读取自动化的数据，如果是其它类型数据的数据库，则读取其数据。统一其读取数据方式为运行SQL。对于文档类型的数据，设置主目录，读取目录下的文档列表，将此列表发送给主服务器进行分类和索引。 撤销一个子节点时，需将数据整体迁移至另一台服务器上，避