非结构化数据存储的技术研究与实现_赵丞.pdfVIP

数字技术 设计开发 与应用 非结构化数据存储的技术研究与实现 赵丞 (北京神舟航天软件技术有限公司 北京 100094) 摘要:分布式文件服务器系统是企业应用系统的基础组成部分,通过企业应用系统访问文件服务将给企业应用系统带来极大的网络压力并降低 服务质量。本文提出在保证数据安全性的基础上,支持在企业中分布式部署文件服务器群供其他企业应用系统共用,为企业中非结构化数据的管理 和维护提供了完整的解决方案,可以有效的降低企业应用系统的研发、部署和维护成本,并提高企业应用系统服务质量。 关键词:分布式 文件存储 文件服务器 中图分类号:TP311.13 文献标识码:A 文章编号:1007-94 16(2013)04-0 173-03 企业应用系统中存在大量的非结构化数据,通常企业机构使用 的安全性;(4)通过分布式文件服务器中逻辑存储单元的定义, 以及 基于网络的分布式文件服务器维护非结构化数据,并在企业应用系 存储单元与物理存储位置的映射管理,实现不同企业应用系统间的 统中授权访问。 隔离,进而支持建立企业级文件服务, 降低企业应用系统开发难度 文件服务可以作为多种企业应用系统的基础服务。一方面,我 和工作量,简化企业管理和维护文件的工作。 们需要基于网络的分布式文件服务实现大量数据的存储。另一方 1基本概念 面,集中的管理、监控和使用文件服务,将在降低企业应用系统开发 的难度和工作量的同时,简化企业应用系统的部署、管理和维护工 1.1 分布式文件系统 作。 分布式文件系统是指文件系统时间共享模式的分布式实,通过 上述结构在保证了文件服务器安全性的同时,存在下列不足: 一个公共文件系统为地理上分布的计算机用户提供数据和存储资 (1)文件传输的处理将极大的占用应用服务器的处理能力及网络带 源的共享。分布式文件系统的主要特征为网络透明性、位置透明性、 宽,应用服务器很可能因此成为企业应用的瓶颈。(2)按照用户界面 可扩展性以及容错。 中是否执行文件传输操作,最终用户预期的界面平均响应时间也不 1.2 电子仓库 同,通常用户更难忍受非文件传输时的界面延迟。因此上述结构可 电子仓库DV(data vault)是指在PDM系统中实现产品数据存 能导致的文件传输挤占其他业务的处理能力的情况,将对企业应用 储与管理的元数据库及其管理系统,它是连接数据库和数据使用界 系统的用户体验带来较大的影响。 面的一个逻辑单元,它保存所有与产品相关的物理数据和文件的元 参考互联网应用的文件处理机制,本文提出对分布式文件服务 数据, 以及指向物理数据和文件的指针。通过建立在数据库之上的 器结构的改进,主要包括:( 1)将文件流数据传输的负载从应用服务 关联指针,建立不同类型的或异构的产品数据之间的联系,实现文 器分散到多个文件服务器;(2) 由于在基于B/ S架构企业应用系统 档的层次与联系控制。 中,企业应用系统的客户端浏览器只能基于http (s) 与服务器通信, 1.3 HDFS 因此要求文件服务器实现基于http(s) 的访问接口, 以标准的方式完 Hadoop 分布式文件系统(Hadoop Distributed File System, 成与客户端浏览器的通信;(3)为适应企业应用系统中频繁的数据