基于Hadoop架构的海量数据存储系统设计-厦门城职业学院.PDFVIP

19 1 厦门城市职业学院学报 Vol． 19 No． 1 第 卷 第 期 2017 3 Journal of Xiamen City Vocational College Mar． 2017 年 月 基于Hadoop 架构的海量数据存储系统设计 王卫华 ( ， 450000) 河南警察学院 河南郑州 ［ ］ 、 ， 摘 要 为实现高效地存储和管理海量 无序和异构性的数据信息 在分析网络数据存储体系结构和 ， Hadoop 。 网络数据特点的基础上 设计一种基于 技术的分布式海量网络数据存储系统平台 该系统平台包含 、 3 ， linux 、 业务接口层 数据服务层和数据库数据访问层 层结构 通过使用 集群技术 分布式并行数据处理技 、 ， 、 ， 、 、 术 存储技术 可以实现高效率 低成本的存储海量数据功能 具有良好的安全性 经济性 易用性和可 扩展性。 ［ ］ ;Hadoop ; ; 关键词 海量数据 分布式存储 并行计算 ［ ］TP331. 13 ;TP333 ［ ］A ［ ］2095 － 2724 (2017)01 － 0063 － 05 中图分类号 文献标识码 文章编号 DOI:10.16417/35-1312/g4.2017.01.013 ， 用服务不 随着网络通信技术的快速发展 应 一、Hadoop 技术简介 ， ， 断增多 网络数量和规模不断扩增 通信数据量 Hadoop 是Apache 开源组织的一个分布式计 ， PB 、 ［1］ 呈几何级倍数地增加 数据量单位已经达到 ，是一个完全开源的 ， 算框架 软件 能够在由 EB 、ZB ; ， 、 级别 同时 海量数据的多样性 异构 。 许多普通计算机硬件设备构成的集群中运行 当 ， 性和分散性等 均对存储管理系统提出了更高的 、 ， 前许多网络公司如淘宝 百度等 都创建了基于 。 要求 传统的数据存储管理系统对海量异构分散 Hadoop 的存储应用。Hadoop 可以根据实际需求 数据的存储需要消耗大量的计算机资源和繁琐的 ， 方便