基于云资源存储设计与应用.docVIP

基于云资源存储设计与应用 　　摘要：该文通过对云计算和云存储的概念的描述，分析了云存储的体系结构较之传统文件管理体系的优势，并针对档案管理的工作现状，提出了基于 Hadoop 构建的云存储系统模型的设计。 　　关键词：档案管理；云存储；Hadoop 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2013）16-3659-02 　　1 概述 　　目前，我国大中型企业的规模不断扩大与国际接轨程度不断提高，随之而来的就是企业中的数据量日益增加，工作人员需要处理的数据越来越多。以档案室为例，原有的档案管理存储系统成本高，平台扩展能力差，数据的访问效率低，已经不能满足日益增长的数据量的需求。而云计算技术的推广和使用可以为档案室提供一种更高性能、更低成本、的存储平台，为档案中的大量数据的处理提供了新的技术支持。 　　2 云计算与云存储 　　云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。他包括互联网上各种服务形式的应用和提供这些服务的软硬件设施，互联网上的应用服务就是通常用户所说的SaaS，数据中心的软硬件设施就是云。云计算一般分为广义和狭义两种定义。分别指IT通过网络以按照用户需求和易扩展的使用方式获得所需资源以及指通过网络以按照用户需求和易扩展的使用方式获得用户所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。云计算是传统计算机和网络技术发展融合的产物，其本质特征包括分布式计算和存储、较高的可扩展性、良好的可交互性。 　　云存储（cloudstorage）是在云计算概念上延伸和衍生发展出来的一个新的概念。与云计算类似，它是指通过分布式文件系统和计算机的集群技术运用等功能，集合网络中不同类型的存储设备是他们配合工作，对外提供数据存储和访问功能的系统，云存储实际上就是一个以数据存储和管理为核心的云计算系统。 　　云存储体系一般分为以下几个层次：数据存储层，其作用是将不同类型的存储设备连接起来，实现海量数据的统一存??。数据管理层，数据管理层为上层提供不同服务间公共管理的统一视图。通过设计统一的用户管理、数据管理等功能模块实现多存储设备之间的协同工作。应用接口层，应用接口层是云存储平台面向用户的部分，包括数据存储服务、公共资源服务、数据备份服务等。数据访问层，通过数据访问层，使得用户都可以随时实地登录云存储平台系统。 　　3 云存储平台的选择 　　Hadoop是一个分布式系统基础架构，由Apache基金会开发，得到了大规模的推广和运用。Hadoop用户可以在不了解分布式底层细节的情况下，开发分布式程序。Hadoop 的基础组件HDFS 是根据 Google 的 GFS 设计思路开发的，具有高容错性的特点，非常适合部署在低廉的硬件上。使用HDFS可以提供高传输率（来访问应用程序的数据，适合那些有着超大数据集的应用程序。与传统的分布式系统最大的不同点在于HDFS具有极高高容错性和较低的使用成本。 　　HDFS 是以流式数据访问模式存储海量数据的分布式文件系统。名称结点是中心服务器，负责管理文件系统的命名空间，它维护着文件系统树及整棵树内所有的文件和目录，同时还记录着每个文件中各个数据块所在的数据节点信。数据结点是文件系统的工作节点，负责管理数据块的检索与存储，根据名称结点的调度进行块的创建、删除和复制等，并定期向名称结点发送它所存储的块的列表。 　　4 基于云存储的档案资料管理系统的设计和功能分析 　　该系统的功能主要包括以下三个方面：第一是数据的备份与恢复传统的备份和恢复系统在可靠性、可扩展性、容错性等方面都有较大缺陷，不能满足现阶段档案馆档案资料的信息量快速增长的存储需求。档案馆的管理人员在使用传统模式进行数据的备份和恢复时会遇到各种各样的问题。例如，对超大数据的进行备份的时候，不仅很难找到相应规模的数据备份载体，同时服务器在处理大规模数据时运行速度明显降低，会影响到其他用户进程的使用。而利用云存储系统的高可扩展性和高处理性能的特点，可以高效地存储和管理这些数据。在档案资料管理系统的实际应用中，采用传统存储设备和云存储系统混合使用的方式，可以充分降低使用成本，使得两种存储系统协同发挥优势。现阶段档案室的通常做法是将常用的档案资料备份到传统存储中，然后再将它们存入云存储系统，这样的备份效果比其中任何一个系统的单独存放的效果更好。 　　第二是数据共享，在档案资料的管理过程中数据共享是其重要环节之一。在传统存储系统中，数据共享的效率常常受到受硬件设备的制约。当大量用户同时访问共享数据时，系统性能大大降低，甚至出现数据不能下载或提示