大规模网络数据存储系统的设计与实现.docVIP

大规模网络数据存储系统的设计与实现 　　摘 要： 当前的网络数据存储系统在处理大规模数据时需要较长时间，增加了网络数据存储周期，存储性能较差。因此设计并实现一种大规模网络数据存储系统，该系统主要包括A/D高速采集模块、FLASH存储模块和FPGA数据接收模块。A/D高速采集模块采集大规模网络数据，采用FPGA数据接收模块对采集到的网络数据进行接收和处理，过滤其中的噪声因素，再将处理好的网络数据保存在FLASH存储模块中。依据三层架构模式设计大规模网络数据存储系统软件架构，并给出了业务逻辑层完成数据传递的关键代码。实验结果表明，所设计的大规模网络数据存储系统具有较高的数据存储和读取速度，能够实现网络数据的负载均衡存储。 　　关键词： A/D高速采集； FPGA； 网络数据存储； 大规模数据处理 　　中图分类号： TN926?34； TP311 文献标识码： A 文章编号： 1004?373X（2017）02?0118?04 　　Abstract： The current network data storage systems need a long time to process the large?scale data， prolong the network data storage cycle， and have poor storage performance， so a large?scale network data storage system was designed and implemented. This system mainly includes the A/D high?speed acquisition module， FLASH storage module and FPGA data receiving module. The A/D high?speed acquisition module is used to collect the large?scale network data. The FPGA data receiving module is adopted to receive and process the collected network data， filter out the noise factor produced in the above process， and then store the processed network data in FLASH storage module. The software architecture of the large?scale network data storage system was designed based on three?layer architecture mode. The key code of using business logic layer to transmit the data is given. The experimental results show that the designed large?scale network data storage system has the high data storage and read speed， and can realize the load balance storage of the network data. 　　Keywords： A/D high?speed acquisition； FPGA； network data storage； large?scale data processing 　　0 引 言 　　随着网络技术的蓬勃发展，世界网络化持续普及，大规模网络数据不断聚合，数据量始终保持指数级增加[1?3]。为了满足目前海量网络数据存储的需求，大规模的网络数据存储系统应运而生。如何开发出适合当前局势的大规模网络数据存储系统，成为了相关领域中一个重点问题[4?5]。 　　但当前的大规模网络数据存储系统存在一些缺陷，如文献[6]设计的IP资源网络数据存储系统，利用IP网管设备实时监测数据存储信息，当有网络数据要求存储写入时，依靠控制手段，对请求迅速做出反应，完成网络数据存储的过程。但此方法中所用的IP数据网极其复杂，系统扩展性不高，不适合当前网络技术现状，无法满足网络数据存储需求。文献[7]提出的多模式网络数据并行储存系统，安装若干个能够同时运作的系统部件与多个中央处理器，依靠各个设备的同时运行，达到网络数据存储性能最大化的目的。该方法的缺点在于存储部件过多，在资源分配时容易产生混乱，造成数