FastDFS针对数据采集应用的改进.pdfVIP

软件 2014 年第 35 卷 第 12 期 SOFTWARE 国际 IT 传媒品牌 Fast DFS 针 对 数 据 采 集 应 用 的 改 进 吴静，戴志涛 (北京 邮电大学计 算机 学院 北京 100 876) 摘 要 : 在数据采 集领域 ，一般是采 用定 点采集 数据 并传 输至集 中节 点管理 ，这种方式会产 生大量远程传输 带宽，并 且在多用户使 用数据 的过程会使得中心节点 的负载过重 。本 文结合 实际应用需求，通过对 分布 式文件 系统 FastDFS 的原理 进 行分析 ，针对数据采集应用，改进 FastDFS 并设计了一种适 合数据采集 与使 用的分布式存储系 统。设计了组、小组、存 储 服务器 的三 级存储模式 ，增强 了存储系统 的拓展能力 同时为数据采集 上传带来方便，取得了较好的效果 。 关键词: 分布式存储；FastDF S；数据采 集 中 图分类 号: TP393 文献标 识码 : A DO I ：10.3969/ j . ssn .1003-6970 .20 14 .12 .025 本 文著录格式 ：吴静 ，戴 志涛. FastD FS 针对数据采 集应 用的改进[J]. 软件，20 14 ，35(12) ：123128 Imp r ovem en t s of Fast D str bu ted F le System for d ata acqu s t on app l cat on s WU J ng, DAI Zh -tao (Comput er School, Be j ng Un ver s ty of Post and Telecommun cat on, 100083) 【Abstr act 】: In the f eld of data acqu s t on. It ’s the g ener al way to collect f xed-po nt d ata and tr ansm t them to a center node to manag e. In th s method t w ll produce a large numb er of remote transm ss on bandw dth. And the center manage node maybe over loaded when there ar e large numbers of user s. Comb ned w th the pract cal appl cat on demand, through the analys s of th e pr nc ple of FastDF S, accord ng to the data acqu s t on appl cat on, mproved FastDF S and des gn a d s- tr buted storage system that f t data acqu s t on very well. W th the three lever stor ages that ncludes group, small group and storage stor age server ,the development ab l ty of the storage system s enhanced , and th s ach eved good results. 【K ey wor ds 】: D str buted F le System; FastDF S; Data acqu s t on 0 引言 随着网络 的广泛使用 ，及信 息的广泛拓展。在各种领域，每 天都会产生大量 的原始数据 。无论是 IT 领域还 是科学研 究领域，在科学数据采集的过程中，会有一些基于地理位置的数据采集，一般情况下 ，都会将采集 到 的数据集 中存储到一个中心站点 ，之后再提供给用户使用。然而这样做有几个 劣势，一是