GIS影像数据分块处理方法研究.doc

GIS影像数据分块处理方法研究 张祖宇（广西第二测绘院） 【摘　要】　为了解决随着遥感技术的飞速发展产生的海量数据图像，在GIS系统建立后在计算机显示时，查询速度过慢的问题。结合当前计算机软件和硬件的技术对其原因进行了深入分析，并针对影响显示速度的图像漫游和邻域处理等关键问题提出了解决思路和办法。【关键词】　GIS 图像显示 海量影像数据 一、概 述 　　随着卫星遥感和航空摄影技术的发展，通过遥感获得的地理信息越来越多，特别是小卫星高分辨率遥感图像的商业化，遥感影像成为地理信息系统一个非常重要的信息源，而他所面临的数据量也越来越大，我们称之为海量数据。例如，美国USGS生产的1：200万数字制图数据库成果更新需制成一张光盘，而美国全国1：10万水系和交通数据，全套则达14张光盘。我国已建成了覆盖全国范围的1：100万基础地理信息数据库的数据量近300MB，1：25万基础地理信息数据库的数据量为8GB，全国七大江河流域的1m分辨率的DOM数据量达308GB，1：5万数字高程数据达150GB以上。与之对应的遥感影像的数据量就更大，如仅福建省的30m*30m分辨率的24位BMP格式的遥感影像就有700MB之多，若为1m*1m分辨率，数据量将是630GB。目前，海量数据的提法在GIS界已被广泛接受。造成海量数据的原因主要有：GIS应用范围的扩大造成数据采集区域的扩大，从而造成GIS数据量的大幅增加；冗余数据的存在；问题研究的动态性使GIS必须获取多时相、多尺度的空间数据；多数据库的连接和耦合使得原本非海量的数据变成海量。　　对于遥感图象处理系统来说，原始遥感图象、中间结果图象、最终结果图象的显示查寻是了解原始图象质量、结果图象质量以及确定图象处理方法有效性的最直观、最重要的手段之一，而海量遥感图象的显示必然涉及到图象显示的速度问题，由于计算机内存的增加速度永远也赶不上数据量的增长速度，使得计算机将海量遥感图象的全部数据读入内存是不现实的，即使计算机的内存大到能够将一幅海量遥感图象的全部数据读入内存，但是内存肯定也无法大到可以同时打开若干幅海量遥感图象的地步（若利用Windows API的VirtualAlloc函数的虚拟地址保留或提交功能来实现同时打开多幅海量遥感图象，也会由于图象显示切换时的内存与计算机硬盘之间的大量数据交换而严重影响图象显示的速度)；另一方面，目前计算机普遍拥有128M或更大的内存，若不科学地利用，无疑是资源的严重浪费，因此如何科学地利用好计算机已有的内存以及硬盘与内存之间的数据交换是解决图象显示速度的关键。因此为了能够对海量遥感图象进行快速显示操作以及解决计算机硬件的限制，必须在软件算法技术上进行研究改进。　　分片处理的主要目的就是将大数据量的遥感影像分成相对数据量较小的多块数据，再将这些数据块进行编号，建立索引。这样，查询数据时，无须逐行读取，只要选择相应的数据块，就可以快速查询到所需数据。　　本文研究的主要内容就是如何将海量数据进行分片，建立索引。研究首先设定分片范围，再建立索引表。查询过程中，将查询目标与索引表进行比较，得到索引编号，查询到分片数据。这样一来，避免了逐行读取数据，节省了大量时间。 二、海量数据分块处理方法基本思路　　2.1　海量数据分块处理方法过程分析　　2.1.1　数据分块　　我们在实现数据分块的过程中，采用的基本思想就是完成图象顺序读取的先行任务。计算机本身读取图象元素是以顺序读取的方式，即逐行读取。在查询时，如果所需查询数据是图象数据的前几行，速度影响可能不大，但是如果是图象的末尾或中间部分，读取过程就非常烦琐。计算机需要顺序读取完所需数据之前的所有数据，进行比较，得到需要的比较结果才会停止。假设图象数据为1GB，有1000行1000列，当我们需要读取第700行700列的数据时，计算机需要逐行读取700行700列的数据，而不能直接查询。现在，我们提前帮助计算机完成这一步骤。即预先读取一定长度的数据，存放到另一个文件里，再将该数据之后我们暂时不需要的数据读取完成；遇到我们设定的一定宽度的下一行数据时，再存放到刚才的文件里，如此反复，就可以按照预定的比例将图象分块了。 　　若直接对存储于硬盘中的遥感图象进行显示操作，那么由于硬盘的读取速度无法与内存的读取速度相比，因此自然会影响图象的显示速度。通过前面的分析可知，由于将图象一次载人内存是不现实的，而只能将部分数据载人内存，其他部分甚至大部分的数据只能存储于硬盘当中，因此，在图象处理系统的显示过程中，反复与硬盘打交道是在所难免的，但是一般的图象存储格式，相对于图象显示操作来说，是极其不合理的（图象往往是以行序进行存储的），这也是影响速度的主要原因之一，其主要是由于图象的横向跨度造成了从硬盘中读取数据时，需要进行多次的定