基于网格技术科学数据存储与共享.docVIP

基于网格技术科学数据存储与共享 　　[摘要]应用网格技术，在科学数据库建设基础上，构建科学数据网格并实现其横向联合、纵向深入的多角度发展。同时，利用仿生学原理与信息管理相结合，开展科学数据发酵进而促进知识创新。在服务提供方面，建立科学数据网格门户为最终用户带来最大的导航便利，是符合我国现实特点的科学数据长期存储、创新和广泛共享问题最佳解决方案。 　　[关键词]科学数据　网格　信息仿生　数据共享　长期存储 　　[分类号]G250.7 　　 　　科研工作中产生的原始数据及对其加工得到相关信息不断积累形成科学数据是人类宝贵的信息财富。如何实现科学数据长期存储和共享，使其能够服务于科技发展和经济建设是科研价值转化的关键。为此，本文提出应用网格技术和信息仿生原理解决这一迫切而具有挑战性的命题。 　　 　　1　网格技术与科学数据 　　 　　1.1　网格技术 　　网格是一个集成的计算与资源环境。其核心思想是共享广域分布的各种计算机资源，并将它们转化成一种随处可得的、可靠、标准同时还是经济的计算能力和数据信息处理能力。网格的本质不是简单的规模性扩张，而是对网络中现存软硬件资源加以充分利用，支持关于数据、信息和知识资源的存储、共享与计算，消除资源孤岛，从而达成网络资源自我增值。其目标是将地理上分布、系统上异构的多种计算资源通过高速网络连接起来，进行广域信息资源分布共享。 　　网格技术凭借这种分布共享的工作模式和强大的计算能力，在科学研究、电子政务、电子商务及个人娱乐等方面有着重要的应用价值，其中科研领域一直是网格应用的重点，如生物信息学、地球物理学、医药学等学科已开始利用网格的计算能力进行问题求解。这说明网格技术已经是一种比较成熟的，并且可以在科研领域作出贡献的应用技术。 　　 　　1.2　科学数据生存现状 　　科学数据种类繁多，覆盖面广。根据数据信息内容不同，可以分为数值型数据、事实型数据、文献型数据以及成果数据、法规数据和科技市场数据等等。我国先后建设了5000―6 000个规模不等、质量各异的科学数据库。这些数据库的数据量从???百Kb到几十Tb，覆盖了气象、海洋、水文、测绘、国土资源、地震、环境、农林、医药卫生、疾病预防等各领域。然而这些科学数据的存在现状如何，我们可以通过一组数据来分析。 　　近30年来，世界科学技术迅猛发展，使得人类社会所积累的科学数据量已经超过了过去5 000年的总和。我国近20年来为实施国家级科技计划的经费投入接近2 000亿元，在这些经费中约有30％―50％(600至1 000亿元)用于科学数据的采集与整理。据调查，在科学数据来源上，75％的项目主要使用原生数据；15％的项目主要靠收集其他项目生成数据开展研究；10％的项目认为两种数据基本相当。在项目结束后生成数据保存方面，40％的单位同意项目负责人保存；70％的单位要求上交，但没有强制措施；25％的单位对科学数据存储无明确规定。在科学数据获取难度上，75％的项目认为比较难，25％的项目认为难度不大。 　　基于以上数据，不难看出，当前科学数据保存和利用方面存在如下问题：①科学数据生成重复投入大；②科研单位轻视科学数据的汇集和保管，科学数据流失严重；③科学数据获取困难。 　　 　　2　科学数据网格及其多角度发展途径 　　 　　学科之间甚至学科领域之内数据交流的缺失必将严重制约科学事业的发展和科技创新能力的提高。面对科学数据存储及共享利用方面的问题，我们发现网格以其开放共享的特点，为我们提供了问题解决方法。 　　目前中国科学院组建的科学数据网格在科学数据库建设基础上，连接中国科学院分布在全国的40多个研究所，对科学数据库中分布式异构数据资源进行共享。这是一次积极有效的尝试，但其覆盖范围有限，科学数据资源仅来自中国科学院各研究所，未能充分发挥网格技术优势，或者说还不能充分利用网格技术将科学数据的价值发挥到最大程度。为此，笔者认为，若想彻底解决科学数据存储与共享问题，需要科学数据网格的多角度发展并提出以下发展途径如图1所示： 　　 　　 　　2.1　横向联合 　　 　　2.1.1　领域科学数据网格如前文所述，各专业科学数据库建设已取得一定成果，科学数据资源十分丰富。但共享问题的存在使它们成为了一座座科学数据孤岛。无法互联互通形成集群优势，反而造成了大量重复建设。因此需要首先在各专业内部建立科学数据网格，以集成领域资源，实现领域内科学数据共享，首先为本学科的探索发展提供原始动力和基础保障。 　　2.1.2　国家科学数据网格多学科交叉融合、通力合作是当代科学研究的重要特点和必然趋势。如我国夏、商、周断代工程汇集了考古、文字、地质、天文、物理等多领域专家才得以实施。没有一个学科不依存于其他相关学科而存在和发展。所以，必须在