大规模时空数据分布式存储方法研究.pdf

高技术通讯2013年第23卷第12期：1219—1229 doi：10．3772／j．issn．1002-0470．2013．12．002 大规模时空数据分布式存储方法研究① 钟运琴②一+ 方金云‘赵晓芳+ (’中国科学院计算技术研究所 北京100190) (”中国科学院大学北京100190) 摘要提出了一种基于Hadoop云平台的时空数据分布式存储方法，以应对空间应用中 出现的无法满足高并发用户在线实时访问和空间信息服务中断等大数据存储瓶颈17题。 该方法运用时空数据切分与布局机制使数据均匀分布于集群中以确保存储与访问负载均 衡；运用时空对象重组织机制提高数据的时空临近性以匹配时空应用存取模式；运用热点 时空对象分布式缓存机制以降低磁盘I／O访17延迟。利用该方法实现了基于Hadoop云 平台的时空数据分布式存储中间件原型系统exHDFS，实验结果表明该方法能高效地满足 数据密集型空间应用存储需求。 关键词 云平台，空间应用，数据管理，时空数据存储，时空索引，时空数据缓存 据存储方法探索，提出了一种基于Hadoop‘31云平台 0 引言 的时空数据分布或存储方法，并通过实验证实了该 方法的有效性。 时空数据是一种结构复杂、多层嵌套的具有空 间和时态特性的高维数据，它有效记录了事物的空 1 研究背景与相关研究 间位置和时空变化过程，并准确地表达了事物的历 史、当前和未来状态，如城市变迁、疾病扩散、环境变 时空数据存储是空间应用后端系统的核心，其 化、地质演化、移动对象位置变更等…。随着对地 性能决定着整个系统的服务能力。最新的时空数据 da- 观测和位置服务技术的发展，人们通过专业传感器 存储方法大都基于空间数据库管理系统(spatial tabase 设备采集了大量异构多源时空数据如高分辨率遥感 management 数据、基础地理数据、航拍影像、GPS轨迹数据等。 的存储能力很大程度上依赖于底层DBMS性能Ho。 大规模时空数据和高并发访问对基于SDBMS的时 在线空间应用如网络地理信息系统(WebGIS)、基于 空数据存储方法是很大的挑战。从可扩展性上看， 位置的社交网络服务(LBSNS)的普及，使得普通用 户也可以和专业人员一样通过桌面浏览器和移动终 SDBMS通过垂直扩展的方式，即通过增加性能更高 端发布、浏览、查询时空数据旧j，他们也成为数据生 的硬件如更快的CPU、大容量内存和高速磁盘等来 产者，这进一步加剧了数据规模的增长…。当前主 提升系统性能，但是单机环境下硬件的性能扩展有 流的时空数据存储方法由于单机空间数据库的吞吐 限，因而SDBMS的并发访问和I／O吞吐性能无法持 性能与扩展能力有限，已无法满足高并发用户近在 续提升。尽管使用并行数据库系统可以提升数据存 线实时访问，而且极易发生单节点失效问题造成空 储性能，但是其扩展能力也很有限∞J，而且其商业 间信息服务中断。因而我们需要设计高效的时空数 版本需要支付高昂的授权费用和配备昂贵的硬件设 据存储方法以满足高并发用户访问海量数据的需 备以提升性能。从可用性上看，当并发用户少和数 求。本研究针对这种现实情况进行了大规模时空数