海量数据处理中的网格技术应用.docVIP

海量数据处理中的网格技术应用 　　摘要：网格是继Internet 和Web之后第三次信息技术革命，最终将改变分布式资源的共享和服务方式。该文主要讨论了海量数据的产生、存储、处理，以及其对数据网格技术的需求，分析了欧洲数据网格和LHC计算网格的功能，并探讨了网格技术研究的最新情况。 　　关键词：网格；LHC；数据网格；海量数据 　　中图分类号：TP393文献标识码：A文章编号：1009-3044(2008)35-2108-02 　　Mass Data Processing Applications of Grid Technology 　　WEN Quan-sheng, LUO Tai-peng 　　(Grid Research Center,Polytechnic University School of the Peoples Liberation Army Corps of Engineers,Nanjing 210007,China) 　　Abstract: Data Grid is the third revolution of the information technology after Internet and Web,and based on current data management technologies,Data Grid aims to integrate all kinds of resources in the network,such as storage resources,data resources,computing resources,etc.,and establish a unified architecture for data access,store,transfer and management,which offers a new way for mass data management. 　　Key word: grid;LHC;data grid;mass data 　　 　　1 引言 　　 　　目前，在越来越多的领域，例如高能物理、医学、生物学、天文学等等，数据量正在呈现爆炸性增长。一般认为，当数据量超过普通桌面硬盘的存储容量时，即可称之为海量数据。因此这些领域的数据都可以称作为海量数据。目前，许多领域所产生的数据总和已经达到 TB(terabyte)级，而 PB(petabyte)级的已经出现；不难想象，未来还有可能继续增加。海量数据具有分布性、异构性等许多新的特征，对存储资源、计算资源、网络资源等都提出了极高的性能需求，为传统的数据管理技术带来了巨大的挑战。自20世纪50年代开始，传统的数据存储管理方式经历了人工管理、文件管理、数据库管理几个阶段，数据存储从简单的磁带、纸带、卡片发展到现今的大容量服务器，数据管理从无专门的管理软件发展至数据库管理系统，数据的共享性不断增强。但是面对信息爆炸时代的海量数据，现行的数据存储管理方式仍然体现出了它的不足之处[1]： 　　1) 海量数据大多分布在不同的地理位置、不同的存储设备以及不同的数据管理平台，数据来自多个数据源，形式丰富多样。而目前尚未有一种数据管理系统可以很好地同时处理数据的分布性和异构性。 　　2) 计算资源、存储资源之间存在着相互交流与协作，如何将这些资源有效地整合在一起进行分配和调度，充分利用资源，真正达到共享目的，还存在很大的问题。 　　3) 如何能提供给用户一个高效、快速而又方便地数据共享应用平台也是一个亟待解决的问题。 　　 　　2 海量数据的产生及特点 　　 　　2.1 海量数据的产生 　　1) 生物和医学：就我国而言 ，生命科学界对网格技术产生了强烈需求：首先是必须开发和应用全新的生物信息处理方法；另外，必须建立高效的超大规模数据信息处理系统[2]。 　　2) 天文学：虚拟天文台是新世纪天文学研究的一个重要发展方向。它利用最先进的信息技术和网络技术将各种天文研究资源以统一的服务模式透明的汇集在统一的系统中。因此，导致世界范围内天文观测的数据量以指数级别迅速增长。 　　3) 高能物理学： 北京谱仪BESIII (Beijing Electron Spectrometer III)是北京正负电子对撞机BEPC (Beijing Electron-Positron Collider)上的大型粒子物理实验。它每年将产生640TB的数据。除了要求有高性能的海量数据存储系统外，分析处理BESIII数据需要两千个CPU[3]。 　　4) 在其他领域：例如信息检索、计算几何、全球气候建模、大脑研究等等，所产生和需要分析处理的数据量也正在迅速膨胀。 　　2.2