海量存储技术在数字化图书馆中应用.docVIP

海量存储技术在数字化图书馆中应用 　　摘要： 海量数据存储技术作为支持信息时代数据中心建设的主要关键技术，获得了快速发展。本文分析了该技术在图书馆数字化中的应用及对图书馆数字化的发展的影响。 　　关键词： 存储；传输；DAS；NAS；SAN；SCSI；FCIP 　　中图分类号：TP399 文献标识码：A文章编号：1006-4311（0引言 　　在“信息爆炸”的当今社会，数据正以每年超过100%的速度急剧增长。图书馆作为教育信息化，数字化发展的重要机构，面对各种各样、庞大复杂的信息和数据，怎样安全存储、快速传输、有效管理、及时恢复，避免因数据丢失而造成重大利益损害，成为图书馆数字化过程中不可避免的话题，因而存储技术应用成为数字化图书馆建设的一大热点。 　　1现有存储技术架构及其优缺点 　　1.1 直接附加存储（Direct Attached Storage 见图 1）直接附加存储ＤＡＳ（Direct Attached Storage）也叫“服务器直连存储”。这是一种传统的存储方式，磁盘或阵列通过电缆及标准的接口（比如ＩＤＥ、ＳＣＳＩ等）直接挂接在各种服务器或客户端扩展接口下，服务器通过I/O通道直接访问存储中的数据。其I/O路径为：应用——文件系统——存储设备（见图1所示）。数据、应用、文件（操作）系统都未分离，存储容量难以扩展，具有I/O通道瓶颈，且成本高，可管理性、可靠性和可用性都较差。 　　1.2 网络附加存储（Network Attached Storage 见图 2）网络附加存储直接将增强了事务集中处理能力的存储设备挂接到基于TCP/IP协议的以太网络中。通过特定的文件系统及文件存取/共享协议（例如：CIFS协议）来执行文件操作，分离了数据与应用。因此增强了可管理性，可靠性，可扩展性，而且降低了成本。 　　1.3 存储局域网络（Storage Area Network 见图 3）存储局域网络是指独立于服务器网络系统之外拥有超大容量存储建立于光纤传输的高速存储网络，不占用服务器运算处理的网络带宽，通常由ＲＡＩＤ阵列、带库、光纤盘阵和光纤交换机组成。ＳＡＮ和服务器的数据通信通过ＦＣ+ＳＣＳＩ的应用协议作为存储访问协议，而非ＴＣＰ/ＩＰ，数据是以数据块的形式访问，将存储子系统网络化，实现了真正的高速共享???储。提供了数据和应用任意两点之间的通讯，最大化的共享数据资源，数据集中，可管理性，可用性，可扩展性大大增强，成本较高。 　　2SAN应用的典型案例 　　2.1 SAN的直接应用（见图3） SAN最直接的应用就是异构平台的数据共享，存储设备共享，提高了数据和磁盘的利用效率，集中管理降低了维护费用和管理成本。 　　2.2SAN的高可用集群应用（见图4）此案例中磁盘阵列的容量、应用服务器可以无限扩展，具有极强的数据集中化存储，多台（甚至整个网络的）服务器共享存储设备（磁盘阵列和磁带库）。提供了极高的可靠性和可用性，具有冗余的、无单点故障（网络中任一台设备损坏，不影响网络的正常运行）的存储数据访问结构，存储数据和设备集中管理，降低了总体的拥有成本。 　　3图书馆数据存储需求的分析 　　图书馆的数据主要分为三种类型：①图书馆自动化系统数据。如书目数据、读者信息数据、借还书记录数据等；②电子文献信息资源数据。如光盘版数据库、网络版数据库、流媒体影视库、各种多媒体数据等；③内部办公数据。如办公文件，用户文档或备份数据等。这些数据因其自身所起的作用不同，对存储的要求也各不相同。自动化系统数据是图书馆业务数据的核心，数据量较少，但需要极高的系统安全性、可靠性和数据信息可访问性；对于电子资源数据，要求具有高可用性，需要提供多个并发用户访问，同时还需要支持海量数据的快速检索存取，海量容量，具有极好的可扩展性，可管理性。图书馆建设存储系统时，首先考虑满足关键数据的存储，以此为起点，建立一个良好的存储结构，考虑到图书馆数据的多样性以及数字化图书馆对存储的要求，图书馆数据存储主要采用ＳＡＮ+ＮＡＳ的存储架构，即采用ＮＡＳ+RAID5+热备盘的方式存储图书馆业务核心数据，极大的提高了数据的安全性和可靠性，利用ＮＡＳ支持异构数据访问、灵活的优点访问数据量少的数据；采用SAN建立图书馆海量数据存储系统，存储电子文献信息资源的海量数据，提供高速宽带的访问流量，有效管理不同类型的数据库；内部办公数据可采用DAS方式存储，或本地磁盘保存，外加ftp服务器备份数据的方式。 　　4结论 　　我校图书馆2003年建立了SAN数据存储结构。由于不希望前期投资经费过大，将来具有很好的扩展性。所以采用了低端应用方案。方案实施完成后，实现了数据的集中存储，通过SAN的管理软件实现对整个存储网络（包括交换机、HBA卡、设备、子系统等）的统一管理