基于Hadoop架构的海量数据存储系统设计.pdfVIP

第 19卷 第 1期 厦门城市职业学院学报 Vo1．19 No．1 2017年 3月 JournalofXiamenCityVocationalCollege Mar．2017 基于 Hadoop架构的海量数据存储系统设计 王卫华 (河南警察学院，河南 郑州450000) [摘 要]为实现高效地存储和管理海量、无序和异构性的数据信息，在分析网络数据存储体系结构和 网络数据特点的基础上，设计一种基于Hadoop技术的分布式海量网络数据存储 系统平台。该 系统平台包含 业务接 口层、数据服务层和数据库数据访 问层 3层结构，通过使用 linux集群技术、分布式并行数据处理技 术、存储技术，可以实现高效率、低成本的存储海量数据功能，具有 良好的安全性、经济性、易用性和可 扩展性 。 [关键词]海量数据；Hadoop；分布式存储；并行计算 [中图分类号]TP331．13；TP333 [文献标识码]A [文章编号]2095—2724 (2017)01—0063—05 随着网络通信技术的快速发展，应用服务不 一 、 Hadoop技术简介 断增多，网络数量和规模不断扩增，通信数据量 Hadoop是Apache开源组织的一个分布式计 呈几何级倍数地增加，数据量单位已经达到PB、 算框架 ¨J，是一个完全开源的软件，能够在 由 EB、ZB级别；同时，海量数据的多样性、异构 许多普通计算机硬件设备构成的集群中运行。当 性和分散性等，均对存储管理系统提出了更高的 前许多网络公司如淘宝、百度等，都创建了基于 要求。传统的数据存储管理系统对海量异构分散 Hadoop的存储应用。Hadoop可 以根据实际需求 数据的存储需要消耗大量的计算机资源和繁琐的 方便地增减服务器的数量，并能够 自动检测和处 管理程序，甚至有时仍无法完全满足存储的需 理系统中出现的故障，建立一个高稳定性、高效 要，而且传统的数据存储管理系统中各项性能的 性、可扩展的分布式数据存储管理系统。Hadoop 提升空间非常有限。 包括了HDFS (分布式文件系统)、Mapreduc编 当前，Hadoop技术提供了一个很好的解决 程模型和 Hbase三个主要核心部分，基于 Ha． 网络海量数据分布式存储 的方案，具有 良好的稳 doop的存储应用流程为：利用Hadoop分布式文 定性、可扩展性、经济性和存储处理能力。因 件系统对网络中的海量数据进行高吞吐量的读写 此，为了更好地实现对网络 中海量数据高效可 和保存 ；然后使用 Mapreduc编程模型对存储 的 靠、低成本的分布式存储 ，可 以通过Hadoop分 海量数据进行处理、计算；最后使用 Hbase保存 布式技术设计一个能够高效管理、存储海量网络 那些经过Mapreduc处理过的数据 ，达到科学高 通信的数据系统。 效地存储、管理海量数据的 目标 。 [收稿 日期]2016—12—03 [作者简介]王卫华 (1977一)，女 ，河南驻马店人，工程硕士，河南警察学院信息安全系讲师。 [基金项 目]2015年河南省科技攻关项 目 “智慧警务数据综合服务平台搭建与测试”(152102210087)。 · 63 · 厦门城市职业学院学报 2017正 (一)HDFS (分布式文件系统) 数据节点的主要功能则是存储数据 ，满足