数字图书馆云存储系统设计与实现.docVIP

数字图书馆云存储系统设计与实现 　　关键词：数字图书馆;云存储系统;分布式系统 　　摘 要：文章以图书馆数字资源存储为研究对象，设计了系统主要功能实现的流程，探讨了关键技术，综合采用了网络技术、云存储技术、Hadoop分布式文件系统（HDFS）、HBase技术、Lucene倒排索引技术等，最终以JSP为开发平台，构建了一个以实现数字资源长期有效存储为目的的数字图书馆云存储系统。 　　中图分类号：G250.76 文献标识码：A 文章编号：1003-1588（2015）10-0121-03 　　自从Google发布云计算的概念以来，很多公司以及组织对其进行了研究，同时也产生了一大批产品，包括Google的大数据表、MapReduce、谷歌文件系统、ChubbyLock、Windows Azure、雅虎的集群计算系统，以及亚马孙的EC2[1]。其中Apache基金会的Hadoop[2]使用最为广泛。使用Hadoop用户可以在完全透明的情况下使用集群，进行读写和计算。做一个免费并且开源的计算框架，国内外使用Hadoop的公司都比较多。雅虎[3]拥有25，000个节点，主要用于支持网页搜索和广告系统，成为全球最大的Hadoop集群。国内百度、淘宝、网易、华为、中国移动等都是Hadoop集群的使用用户，其中淘宝拥有1，700个服务器节点，属于较大的Hadoop集群。 　　塔里木大学图书馆作为大量数字资源的拥有者，为了改变现有存储系统的缺陷，以海量数据资源的存储为研究对象，以JSP为开发平台，利用HBase、Lucene、Katta等多种技术，搭建Hadoop集群，开发数字图书馆云存储系统，实现对数字资源的存储形式多样化、安全有效、具有动态可扩展性以及高度共享性的存储。 　　1 系统设计 　　1.1 图书馆数字资源存储需求分析 　　随着数字资源以爆炸性增长，图书馆在不断扩大数字资源存储容量的同时，也在考虑如何节约有限的资金投入、高度数据共享，可靠性和安全性等方面的问题[4]。 　　1.1.1 经济适用是图书馆建设存储系统时需要考虑的重要因素。作为资金有限的公用事业单位――图书馆，需要根据自身发展和资金现状选择性价比较高的存储方案，切不可盲目追求投入昂贵，技术先进，却暂时无法应用的设备。 　　1.1.2 数据高度共享是图书馆存储系统建设的重要条件。图书馆资源数字化是图书馆发展的必然趋势，他有利于提供图书馆资源的使用效率，提高数据的共享性，也有利于资源的保护和利用。 　　1.1.3 安全可靠是数字图书馆服务的保证。为了避免不可抗拒和人为因素对存储系统的损害，要求图书馆在建设存储系统时，必须要有安全的存储备份方案。 　　1.2 系统架构设计 　　数字图书馆云存储系统以图书馆海量数字资源存储和共享为研究对象，以图书馆――读者为基本模式，从图书馆馆员、管理员和读者的不同角度设计该系统。系统包括数字资源存储模块、数据管理模块和索引检索模块三部分，其系统模块图如图1。从图1可以看出，图书馆员将纸质版图书、期刊、论文、报纸等纸质资源，以及光盘等数字资源，通过传统手段录入到计算机中，形成数字资源。针对电子数据文件大小异构的特点，图书馆员通过数据存储模型，将视频、音频等大数据文件利用HDFS分布式文件系统存放;将图片、文档等较小的文件利用HBase直接存放。管理员利用数据管理模块，对数据文件进行上传，下载和删除等。读者可以在PC机、手机、平板电脑等不同平台，利用系统提供的各种查询方式进行资源检索。 　　图1 系统模块图 　　1.3 系统部署 　　本系统硬件节点部署示意图如图2所示，系统分为三层：数据存储层、应用服务层和用户层。数据存储层由若干不同类型的存储节点或者服务节点组成，用于存储图书馆数字资源[5]。应用服务层主要由具有不同功能的服务器组成，其中一部分服务器用于运行NameNode、SecondNameNode、Hmaster和JobTracker 服务;一部分用于单独运行ZooKeeper服务;一部分用于运行Katta分布式索引检索服务;一部分用于运行DataNode、TaskTracker和HregionServer服务[6]。用户层中的读者可以通过不同形式的平台使用该存储系统。 　　图2 系统部署示意图 　　2 数据处理流程设计 　　数字图书馆云存储系统的数据流程示意图如图3所示。系统对外提供图书馆员使用的管理接口和普通读者使用的查询接口。图书馆员借助于图形管理界面，实现数字资源的管理（上传、下载、删除等）操作。数据管理过程中，数据信息通过网络平台在当地计算机和存储集群之间的传递。数字资源按照类别，分别存储于HBase或直接存放于HDFS。读者获得授权后，可以浏览当前数字资源，通过系统利用HBase自