具有二级缓存机制光盘库系统设计和实现.docVIP

具有二级缓存机制光盘库系统设计和实现 　　摘 要：本文通过分析文件缓存服务器和虚拟光盘库的技术优势，结合光盘库系统的实际应用，给出了高访问性能的光盘库系统解决方案。 　　关键词：二级缓存；缓存服务器；虚拟光盘库 　　中图分类号：TP333.4 　　随着科学技术的不断发展，人们所接触到的数据量越来越大，对数据的存取访问也提出了越来越高的要求，数据存储系统的存储容量、存取速度、安全性、可靠性等都是十分重要的。光盘库系统作为一种海量存储方式，因为大容量、高安全性、高可靠性的特点而被广泛应用。 　　光盘库一般配置有1～6台CD-ROM驱动器，可容纳100～600片CD- ROM光盘。用户访问光盘库时，自动换盘机构首先将CD-ROM驱动器中光盘取出并放置到盘架上的指定位置，然后再从盘架中取出所需的CD-ROM光盘并送入CD-ROM驱动器中。由于自动换盘机构的换盘时间通常在秒量级[1]，因此光盘库的访问速度较低，本文对此提出了特有的解决方案。 　　1 二级缓存系统总体架构 　　对系统的高性能需求意味着高成本的投入，而在实际使用中，并不是所有的文件都需要提供高性能访问的，根据20/80原则，只需要提供20%左右文件的高速访问即可。如果利用磁盘存取性能高于光盘库的特点，将光盘库中访问频率较高的部分数据保存在磁盘中，并对外提供存取服务，则可以在占用较小的磁盘空间的代价下，通过磁盘中的数据服务大部分的数据请求，减少对光盘驱动器和机械手的操作，缩短请求等待时间，提供较好的用户体验。 　　因此系统考虑将文件和数据光盘存储在硬盘上，使用廉价的文件服务器提供高频文件的访问，使用相对成本较高的虚拟光盘库提供对中频文件的访问，使用成本最为低廉的光盘库提供对低频文件的访问并作为所有文件的永久存储。关键技术如下： 　　（1）参考虚拟光盘库的用法[2]，在光盘库系统中增加一个由高速磁盘或者高速磁盘阵列所组成的虚拟光盘库来提高光盘库的存取速度。虚拟光盘库将光盘片上的应用软件和资料，压缩存放在硬盘上，并产生一个虚拟光盘图标，之后不再需要此片光盘便可执行。使用时无需将光盘放入光驱中，也不用找寻光盘片，更不需要等待光驱的缓慢激活，只需加载虚拟光盘，就可以提供硬盘级的速度访问光盘数据。 　　（2）参考虚拟服务器的用法[3]，在光盘库系统前置多台文件服务器，提供文件缓存访问机制。文件服务器可以将最近访问的文件缓存在本地硬盘中，直接提供本地访问；对于不在本地的文件，则将请求前转到虚拟光盘库。由于文件服务器提供了分布式访问能力，可以大大提高并发访问速度。 　　本文给出的系统总体架构如下： 　　客户端：访问时以文件名称按照给定的HASH规则计算对应的文件缓存服务器，向该文件缓存服务器发送文件访问请求。如果客户端访问量大，则可以增加文件缓存服务器数量，调整文件HASH规则，以提供更高访问性能。 　　文件缓存服务器：收到客户端的文件访问请求后，首先根据Cache模块中保存的文件Cache队列定位有无存在对应的文件，如果文件存在，则读取对应文件内容并返回响应给客户端；如果文件不存在，则说明本地无文件，则将请求转发到虚拟光盘库服务器。文件传输模块收到文件传输请求后，接收文件保存到本地，并通知Cache模块更新文件访问信息。 　　虚拟光盘库服务器：收到文件访问请求后，调用镜像管理模块提供的文件访问服务。镜像管理模块读取数据库中保存的文件存储信息，如果文件在本地有镜像，则读取本地镜像中的文件，同时向对应文件服务器的文件传输模块发送请求，触发该文件传输到对应文件服务器上；如果文件在本地没有镜像，则根据该文件所在的光盘库中光盘位置信息，调用光盘库访问接口驱动机械手读取对应的数据光盘，同时触发文件的传输处理。 　　2 文件缓存服务器实现 　　根据系统总体架构设计，文件缓存服务器主要包括三个模块：通讯模块、Cache模块、文件传输模块，提供三个主要流程：文件访问流程、文件传输流程、文件Cache流程。三个模块的功能如下： 　　通讯模块：处理各种外部消息，可以是Web请求或者自定义TCP请求，解析请求内容，进行相应的流程处理。 　　Cache模块：负责管理本地缓存的文件，包括磁盘管理、目录管理、文件查找、替换、LRU队列管理、文件访问属性管理等。为了避免系统重启时丢失文件访问属性和LRU队列，在数据库中保存文件的访问属性，在重启时根据文件访问属性重新生成LRU队列。 　　文件传输模块：负责处理虚拟光盘库发送过来的文件传输请求，包括文件队列管理、数据传输、差错校验等。 　　文件缓存服务器处理流程如下： 　　对于本地缓存表中找不到的文件，说明本地没有文件副本，需要转发请求到虚拟光盘服务器，收到虚拟光盘服务器的响应后，说明文件已经传送到本地，此时读取文件，返回响应给客户端。主要流程如下： 　　（1）系统启动