基于网格数据存储技术在数字图书馆中应用.docVIP

基于网格数据存储技术在数字图书馆中应用 　　摘要：现代数字图书馆存储系统有高可靠性、高可用性、高性能、动态可扩展性、易维护性和开放性等众多方面的需求，而目前使用的存储系统还远不能满足这些需求。本文着重介绍网格的数据存储技术在数字图书馆中的应用。 　　关键词：网格 数据存储 Grid FTP 数字图书馆 　　中图分类号：TP393.01 文献标识码：A 文章编号：1007-9416（2013）11-0043-01 　　1 综述 　　随着网络技术和分布式计算技术的发展，网格应运而生，有望成为第三代互联网。宏观上讲，网格是信息社会的网络基础设施，它把整个因特网整合成一台巨大的超级虚拟计算机，实现互联网上所有资源的互联互通，实现计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等资源的全面共享。 　　网格是由分布在本地或广城范围的若干异构子系统组成的虚拟系统。网格通常可以分为三类，即存储网格，计算网格和服务网格。存储网格实现了虚拟的统一存储，例如可将不同系统不同目录下的文件通过网格软件组合成一个虚拟的单一文件目录，对此网格的用户来说，他不必关心他所需要的文件具体存放在那一物理位置，而可以通过一个单一的文件目录结构存取或检索所需要的文件。他还可以适用于传统购工具相类似的网格变种，如FTP.来将自己的文件传送到这一虚拟的单一文件目录结构中去，或将虚拟存储中的某一文件传送到自己的本地非共享目录中。可见存储网格改变了人们分享数据信息的方式。 　　利用存储网格技术，一个大型复杂数字图书馆系统可以将各自的计算机组成一个虑拟的单一存储网格，所有的子系统界面信息均可实时地被他人所共享，不管这些单位位于世界的哪一个角落，也不管他们用的是什么系统。传统上完成类似目标需要建立并维护一个集中的数据服务系统，在很多时候是无法实现或者极不经济的。而存储网格技术通过建立开放标准将这一需求变为现实。 　　网格存储是网格技术发展的重要组成部分，它将存储和存储引擎整合成内部相连的网格。它通过网格以一种灵活的、透明的方式分配资源，依照单位的存储策略和程序，高效地管理存储资源，以保护大容量信息的安全。网格存储能很好地解决各类资源的自动优化、自动配置、自我保护和自动恢复等功能。 　　2 基于网格的数据存储技术在数字图书馆中的应用 　　2.1 数据网格存储方式 　　数字图书馆是综合运用多方面高新技术支持的数字信息资源系统，将分散于不同载体、不同地域的数字化信息资源以网络化方式互相联结起来，实现资源共享。数字图书馆是计算机可处理的、有序组织的信息集合，是存储数字信息的仓储。数字图书馆通过数字技术进行信息资源的组织和管理，能够储存海量信息，用户可以通过互联网络高效方便地进行查询、检索服务。数字图书馆具有信息资源数字化、信息组织非线性化、结构复杂化、信息传递网络化、服务方式多样化等特点。而网格是高性能计算机、数据源、因特网三种技术的有机组合，它具有高性能、一体化、知识生产、资源共享、异地协同工作、支持开放标准、功能动态变化等优点，为数字图书馆建设提供了有利的条件。 　　在网格中最常用的资源是数据存储。网格对数据存储提供了一个集成的视图，有时被称为“数据网格”。通常，网格中的每台机器会提供一定数量的存储给网格使用，即使是暂时的。存储可以是配属于处理器的内存，也可以是硬盘或者其他永久性的存储介质。配属于处理器的内存通常速度非常快，但是不稳定，最好应用作缓冲数据。网格中的第二存储可以以合适的方法使用来增加容量、性能、共享和数据可靠性。许多网格系统使用网络文件系统，如AFS、NFS、DFS或者GPFS。这些文件系统在性能，安全和可靠性方面存在差异。 　　多台机器的存储使用统一的文件系统，容量可以增加。任一独立的文件或者数据库可以扩展到多台存储设备和机器，利用操作系统的文件系统可以消除最大空间的限制。统一的文件系统可以为网格存储提供统一的命名空间。这对用户使用网格中的存储变得相对容易，可以不用考虑其确切的位置。类似的，特殊的数据库软件可以联合独立的分类数据和文件，形成一个更大的，更全面的数据库，可以使用数据库查询功能操作。 　　网格文件系统也能实现日志功能，因而在某些操作失败后，数据也可以被可靠地删除。另外，当数据共享或者很多用户更新时，有些文件系统实行高级的同步机制来减少冲突。 　　2.2 GridFTP在数字图书馆数据存储技术中的应用 　　网格存储是以节点之间的备份为基础，可以在多重节点上进行内容管理与储存；也可以把存储环境下的多重节点进行资料转移与传输。正因为这样，它可以将网络连接存储（NAS）和存储局域网（SAN）两种不同的技术、不同的管理工具、不同的存储应用融合在一起。网格存储使存储简单化，兼容不同的网络协议，支持不同的系统平台，在各个分布系