基于HDFS的云存储系统的研究与实现7.docVIP

PAGE 2 Computer Engineering and Applications 计算机工程与应用 基于HDFS的云存储系统的研究与实现 宋 杰[1]，邢四为[1]，王 磊[1]，陈林锋[1] (1.安徽大学 计算机科学与技术学院，安徽 合肥 230601) 摘要：针对海量数据的存储问题，传统方法一般是通过购置更多数量的服务器来提升计算和存储能力，存在硬件成本高，存储效率低等缺点。本文旨在通过构建基于Hadoop分布式文件系统的云存储系统，解决海量数据存储难题。文章首先阐述了云存储的相关理论，接着对HDFS的管理机制和MapReduce编程模型进行了分析，最后结合实际需求，设计并实现了一个基于Hadoop的云存储系统。经过测试，该系统有效的解决了海量数据存储管理问题，具有开发成本低、处理速度快、运行稳定、易于扩展等特点。 关键字：Hadoop; HDFS; MapReduce; 云存储; 分布式系统 中图分类号：TP306 文献标志码：A 引言 随着计算机网络技术的快速发展，信息量呈爆炸性增长，数据存储逐渐成为制约企业发展的关键问题。企业现有系统的扩展能力差，难以满足企业快速变化的业务需求[1]。传统的NAS方案扩展能力有限，并且面向企业级的NAS设备价格往往非常昂贵，购买以及安装独立的NAS设备，将面临着巨大的经济压力和额外的维护成本。作为一种新兴的商