一种新型云存储系统的设计与实现.docVIP

  一种新型云存储系统的设计与实现 董昌坤，侯宾，吕玉琴** （北京邮电大学电子工程学院，北京 100876） 5 10 15 20 25 30 35 40 摘要：随着数据的暴增，传统的存储方式已经不再满足海量数据的存储需求，云存储技术的 飞速发展，使得云存储成为了一种新型的数据存储解决方案。本文分析了国内外云存储技术 的发展现状，提出了一个具有高可扩展性、高可靠性、兼容不同存储设备的分布式云存储解 决方案。本文从分布式文件系统 HDFS 出发，设计实现文件读写模块，在兼容 Amazon S3 协议的基础上，设计实现核心业务逻辑处理模块、面向前端请求的代理模块、安全认证模块、 基于数据库的元数据存储模块、前端页面显示模块，构建高可扩展、高容错、可靠、安全的 分布式云存储系统，并完成了整个云存储系统的分布式部署和测试。 关键词：云存储；HDFS；云计算；分布式系统 中图分类号：TP 391 The design and implementation of a new cloud storage system DONG Changkun, HOU Bin, LV Yuqin (Electronic Engineering School, Beijing University of Post and Telecommunications, Beijing 100876) Abstract: With the explosion of data,Traditional storage methods no longer meet the massive data storage requirements.The rapid development of cloud storage technology makes cloud storage become a new type of data storage solutions.This paper analyzes the development status of cloud storage technology at home and abroad,and then puts forward a distributed cloud storage solution which has the characteristics of high scalability, high reliability, and compatible with different storage devices.Based on the Distributed File System HDFS and Amazon S3 protocol,this paper designs and implements file read-write module,core business logic processing module, agent module for front-end request, security authentication module, metadata storage module based on database , the front page display module,and finally build a highly scalable, fault-tolerant, reliable, and secure distributed cloud storage system.In addtions,this paper completes the distributed deployment and test of the entire cloud storage system. Keywords: cloud storage; HDFS; cloud computing; distributing system 0 引言 随着信息技术的飞速发展，特别是移动互联网、物联网等的发展，不论是个人数据、家 庭数据还是企业数据都呈现出了爆发式增长，我们已经步入了海量数据的时代[1]。这些数据 已经不单纯是关系型数据，大多数是诸如图片、音频、视频、文档等非关系型数据，传统的 存储管理方式已经不再适合，如何有效的存储、管理、维护这些数据已经成为了一个热点问 题。 云存储技术的飞速发展，使得云存储成为了一个新型的数据存储解决方案。纵观国内外 云存储的发展，国外云存储的发展一直处于领先地位[2]。国外比较成熟比较稳定的云存储系 统有 Amazon S3、EMC 的 Atmos、Apple 的 iCloud、微软的 SkyDrive 等，这些云存储系统 已经比较成熟、