地质调查大数据处理技术问题及开发方法.docVIP

地质调查大数据处理技术问题及开发方法 　　地质调查的过程同时是地质调查信息的处理过程，下面是小编搜集整理的一篇关于地质调查大数据处理技术问题探究的论文范文，欢迎前来阅读参考。 　　1、数据的产生 　　地质调查是人们对地球表层有目的的探测与探索。从数据角度看，地质调查以多来源、多模态数据展现地球表层现状与发展过程。从系统角度看，地质调查是参与人、数据处理机、地球构成的“人-机-地”系统。地质调查数据的产生情况如表1所示。其中网络信息与管理信息来自人机交互系统，地球信息来自机地交互系统和人地交互系统。 　　地质调查数据产生的位置与时间表现出整体的规律性和局部的随机性。地质调查不但产生地质观测与探测数据，还产生服务、管理及其参与人数据，表现出确定性与不确定性交织的复杂状态。 　　2、基本认识 　　地质调查大数据是地质调查工作和信息科学技术发展、融合到一定程度的结果。源动力来自于2个方面：①地质调查业务不断调整拓展，大量新型技术方法的应用，数据共识基本形成;②地质调查信息化服务需求日渐增强，亟需从独占走向共享、从粗放走向精细。 　　地质调查大数据试图解决以下3类问题： 　　(1)过去计划经济体制下，地质信息资料分割保存，形成信息孤岛，数据信息顺畅流动困难，信息与数据共享问题一直是制约地质调查发展的瓶颈。 　　(2)在以往地质调查工作中，存在一些与数据和计算相关的地质问题，由于当时信息技术条件的限制，没有得到解决，或者解决效率、精度不能令人满意。这一类问题普遍存在于地质调查具体工作中。 　　(3)地质调查信息化服务产品类型不足，生产周期偏长，需求响应欠准确、欠及时。这一类问题已经逐渐成为地质调查工作的焦点问题。 　　地质调查大数据是一个三元组lt;Omega;，fOmega;,Rfgt;,Omega;是一个巨数据集，fOmega;是定义在Omega;上的处理技术方法集，Rf是fOmega;上的关联关系。通常，巨数据集Omega;的计数测度只增不减，包含地质调查产生的数据。处理技术方法集fOmega;的操作对象是地质调查产生的数据，操作基础是信息技术，尤其是新一代信息技术，是地质调查大数据处理技术的核心元素。关联关系Rf定义解决地质调查问题的思路逻辑，体现地质调查大数据的功用与质量。 　　地质调查大数据是“用”出来的，应从地质调查大数据处理技术研究与开发起步，解决技术应用中的具体问题。当应用达到相当的广度、深度后，一些有关地质调查大数据的共性科学问题会浮现或抽象出来，这时就是在更高层面上解决问题的时刻了。 　　3、地质调查大数据处理的技术问题 　　结合地质调查数据处理一般流程和大数据处理技术的特殊性，把地质调查大数据处理主要技术问题分为采集与传输、存储与管理、计算模式与系统、分析与挖掘、可视分析、隐私与安全6个方面。 　　(1)采集与传输对应地质调查数据的产生，地质调查大数据外延显然更大，采集对象更加全面地覆盖地质调查工作。同时，通过实时或准实时数据通信获取地质调查数据，为达到地质调查工作服务目标提供基础。 　　地质调查大数据采集与传输的基本目标是应收、尽收、速收。 　　地质调查大数据采集与传输技术多样，也相对成熟，主要问题在于技术集成与产品化设计生产方面。地质调查大数据采集与传输技术及主要问题如表2所示。 　　(2)存储与管理地质调查工作中，不同类型的应用对存储系统的性能、可靠性等指标有不同的要求，这在存储与管理中并不是新问题，但地质调查大数据的大体量、高复杂度放大了达到这些技术指标的难度，导致“存储墙”问题越来越严重。 　　地质调查数据处理应用中存在2个突出的问题：①数据体量增加到一定程度后，系统停止运转;②读写外部存储碎片数据时，系统效率极低。 　　这2个问题首先与地质调查数据处理使用的计算机存储硬件有直接关系。当前，地质调查数据处理中使用的内部存储硬件主要是SRAM/ DRAM工艺的，外部存储硬件主要是磁盘。SRAM 工艺存储密度限制片上存储容量增长，SRAM/ DRAM工艺高静态功耗阻碍存储层次发展，SRAM/DRAM 工艺对粒子和射线撞击产生的软错误问题没有抵抗能力，纠错电路限制存储容量增加并引起功耗[1].磁盘是计算机体系结构中唯一还在使用的机械单元，与其他电子存储单元在访问效率、延迟等指标上存在量级上的差距，如表 3 所示[2].上述2个问题与地质调查数据处理使用的软件体系也有关系。地质调查应用主要的存储与管理软件是文件系统与数据库，当前，地质调查数据存储与管理整体设计不明确，绝大部分应用没有进行针对性较强的存储与管理设计优化，造成整体效率与具体应用效率都有待提高。地质调查大数据存储与管理的基本目标是软硬件优化升级，大幅提升效率。 　　地质调查大数据的存储与管理技术与当前使用的技术有较大的区别，内容更丰富，结构也更复杂，但