集群式存储在高校数据管理应用.docVIP

集群式存储在高校数据管理应用 　　【摘要】文章介绍了高校信息中心在数据存储方面的现状和集群式存储的一些特点，对在高校部署集群式存储系统做了简要的论述，并且总结了部署集群式存储系统所带来的意义。 【关键词】存储；高校；共享；安全 【中图分类号】G40-057 【文献标识码】A 【论文编号】1009—8097（2013）06—0120—03 一 引言 随着教育行业信息化建设的不断深入和完善，学校教学、科研、管理等工作的正常运行越来越依赖于网络信息平台。目前很多高校的数据中心仍然采用很多年前的数据处理方式，将前端应用程序、数据库、资源库全部放在服务器本地硬盘中，虽然现阶段基本可以满足要求，但也存在很多弊端。如：没有备份恢复系统、服务器的硬盘空间没有统一的规划，使用分布不均，造成空间浪费、数据无法在各种版本的操作系统间实现简单快速的共享等。随着学校各种业务数据的不断增加，现有架构的不足将日益凸现出来。因此，建立可靠、安全、便于检索、快速共享的集群式存储系统已经变得势在必行。 二 高校信息中心数据存储的现状 1 几乎没有集中的存储设备，数据丢失风险大 重要的教学资源、学生信息、财务数据均存放在服务器本地硬盘或者Raid硬盘组当中，缺乏相应的保护措施、相应的专业数据管理人员。大大加重了数据丢失的风险。 2 存储空间浪费严重，数据无法安全简单共享 数据分散存储在各个服务器中，服务器硬盘空间无法统筹规划，形成一个一个的信息孤岛，空间使用分布不均，严重浪费。 不同的主机间所拥有的存储区域不可能交叉访问，传统文件服务器基于单一操作系统，故不可能实现真正实现异构操作系统如Linux和Windows数据的共享。而Linux和Windows之间的互访则只能通过购买第三方软件来实现，并且保证不了应有的文件访问权限。 3 没有真正的备份恢复保护系统 服务器的数据很容易因为误删除，病毒感染，硬盘设备坏等原因丢失。没有专业的备份系统可以恢复数据。 4整体拥有成本不合理 传统架构下，服务器的平均资源利用率并不高，造成很多CPU、内存、电力、制冷、机架空间等资源的浪费，增加了不必要的开销，整体拥有成本不合理。 三 集群式存储 1 集群式存储发展的背景 传统的存储已经不能满足于当下信息的爆炸式发展。面对日益臃肿和复杂的数据，一旦遇到存储系统的瓶颈，就不得不升级到更大的存储系统和添加更多的管理工具，从而浪费了社会资源，加深了数据管理的难度。而采用集群存储则可以提供按比例增加的服务器或存储资源的性能、容量、可靠性及可用性，突破了单机设备的种种限制，带来更高的可用性、稳定性，以及更低的成本。 2 什么是集群式存储 集群存储就是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池，应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘，可以充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取，以获得更高的并发访问性能。 3 集群式存储的功能 （1）海量数据高效管理 随着资料处理业务的增多，存储系统中将积累大量的数据，这就需要存储系统能够容纳海量的数据。同时，存储系统里面的文件数量也会快速增长，当文件数量增长到数千万以上时，文件的检索查找等操作将会给文件系统带来巨大的压力，特别是一个目录下面存放的文件超过一定数量甚至会造成文件查找效率急剧下降。集群存储系统单卷可支持PB级的存储空间，高效的管理上百亿个文件，单目录可以高效支持千万级的文件数量。集群存储系统拥有高效的多元数据服务器集群技术和高效的海量文件检索技术，在存放上百亿文件的同时保持极高的文件检索效率。集群存储系统能够在单个目录下高效管理上千万个文件的存储系统，在单目录下存放上千万数量文件时，仍然能够提供每秒数万的文件检索效率。 （2）数据读写性能 集群存储系统通过多台存储服务器提供同时数据存取服务的方法以满足大量应用服务器的并发访问需求。在应用服务器端，当应用程序往存储系统上写文件时，文件将会被根据一定大小进行分片存放到多台存储服务器上；在应用程序读文件时，则并发的从多个服务器上读取数据。由于大量的数据IO请求都被分散到多台存储服务器上，使得所有的存储服务器上的磁盘性能和网络带宽都可以同时得到充分的利用，这样集群存储系统的聚合带宽由多台的存储服务器上的10带宽相加而成，从而克服了单一出口点所造成的性能瓶颈，可以满足多台应用节点并发访问的带宽需求。通过实现多存储服务器的并发数据访问支持，消除了传统存储方案中常见的负载不均导致的热点数据问题。通过数据在存储服务器集群中的条带化分布实现高效、全面的负载均衡功