油田设备文件系统数据存储的优化.pdfVIP

第33卷第5期 （2014.05）〈仪表电气〉 油田设备文件系统数据存储的优化 康金兵 德州职业技术学院 摘要：Web油田智能网把所有关于文件系统名称空间的信息和状态的信息存储在系统的映 像文件中，编辑日志文件会存储文件系统中所有的元数据的变化情况。文件系统映像和编辑日 志都存储在智能网的本地文件系统上。智能网建设过程中，需要对数据库信息进行检索，确保 数据库信息能够符合节点控制和文件管理的要求。对于Web油田智能网，错误恢复就是靠文件 系统映像和编辑日志。一旦网络出现问题，它就会根据最近的文件系统映像和映像之后的所有 日志重新建立整个文件目录，从而恢复智能网功能。 关键词：信息控制；设备；Web油田智能网；设计；存储 doi:10.3969/j.issn.1006-6896.2014.5.043 据节点交互来访问整个文件系统。它以一个类库 1 活动Web油田智能网在线设计 （包）的模式存在，并且在一个独立的进程中提供 Web油田智能网把所有关于文件系统名称空间 服务，为用户提供文件读写、目录操作等接口。当 的信息和状态的信息存储在系统的映像文件中 （文 用户需要对HDFS进行文件读写的时候，只需要配 件系统映像是文件系统元数据的持久性检查点，包 置客户端相关的包就可以使用HDFS提供的服务了。 含文件系统中文件的复制等级、修改和访问时间、 客户端提供一个类似POSIX （可移植操作系统 访问权限、数据块的大小以及组成文件的数据块， 界面）的文件系统接口，因此用户在编程时并不需 对于目录则存储它们的修改时间、权限和配额元数 据），编辑日志文件会存储文件系统中所有的元数 要知道Web油田智能网和数据节点及其功能。客 据的变化情况 （文件系统客户端执行写操作，如新 户端想把文件写到HDFS上，需要先将该文件缓存 建文件或移动文件的时候，首先会被记录在编辑日 到本地的临时存储设备中，如果缓存的数据大于所 志中，编辑日志会在每次写操作之后但尚未将成功 需的HDFS数据块大小，创建文件的请求将发送给 代码返回给客户端时被刷新和同步）。文件系统映 智能网。实际的I/O事务并没有经过Web油田智能 像和编辑日志都存储在智能网的本地文件系统上。 网，只有表示数据节点和数据块的文件映射的元数 据才经过该网络。 2 Web油田智能网空间日志设计 文件系统数据集群 （Cluster）可以提高网络数 Web油田智能网会定期为名称空间建立检查 据信息管理能力，在节点之间通过高性能网络 点，它从活动的智能网上下载文件系统映像并编辑 （LAN或WAN）进行物理连接，这些计算机通过某 日志，然后在本地进行组合，之后再把新的文件系 种方式协同工作以完成共同的任务；同时文件数据 统映像上传到活动Web油田智能网上。 集群系统可以为用户和应用程序提供统一的系统映 数据节点是基本的文件存储单元，是HDFS分 像，可以使用户和应用程序与文件数据集群系统进 布式文件系统中的工作者。数据节点的主要工作模