基于Apache Beam的分布式四叉树索引方法研究.docx

基于ApacheBeam的分布式四叉树索引方法研究

摘要

随着信息科学的发展，空间数据呈现多维多变的形态，且数据量巨大并呈指数型增长的态势。为了更好地利用空间数据，如何进行空间数据处理成为了关键，其中空间数据如何进行高效存储与查询，已经成为了空间数据处理领域研究的热点，并急需解决的问题。本文针对空间数据对象矩形，基于传统的CIF四叉树索引原理，利用ApacheBeam编程模型与Flink分布式计算框架，采用“分治术”的思想，将数据空间进行递归划分，设计分布式并行算法，实现索引创建，及索引查询。在此基础上，以数据集中对象数目为自变量，创建索引和查询索引时间为因变量，比较单机和分布式平台下处理