Hadoop云环境下栅格数据存储与计算框架研究.pdfVIP

致 谢 光阴荏苒，三年的硕士研究生生活即将匆匆结束，我也将告别学生时代，走向工 作岗位。三年中，有幸得到如此多的关爱，师长的教诲和指导、同学的支持与帮助、 朋友的鼓励和陪伴、亲人的关怀与体贴，都是支持我成长的巨大动力，借此机会向关 心帮助过我的每一位致以衷心的感谢！ 首先感谢我的导师谢传节老师。研究生期间，谢老师在学习、生活、治学和做人 等方方面面给予了我莫大的指引和帮助。谢老师引导我进入云计算领域，督促、帮助 我完成小论文和学位论文，在具体研究过程中耐心的帮我分析问题、理清思路，。谢 老师在百忙之际，还不忘时常关心我的生活情况，常常关注我吃住、锻炼等生活问题。 谢老师高尚的师德、严谨的作风、过硬的技术，都给我留下了深刻的印象。我为能有 这样的导师而感到无比的庆幸，希望谢老师在专注于工作的同时也注意照顾自已的身 体，同时祝老师全家平安、健康！。 感谢师兄史磊、曾少斌，师姐李佳琪，感谢你们在我初来北京时对我生活上细致 的照顾，帮助我快速融入实验室的大家庭。感谢师弟马益杭、师兄李郎平，感谢一起 看球、一起乒乓、一起娱乐的美好时光，让我在科研之余生活更加丰富多彩。 感谢室友占利军、陈跃红、易嘉伟、徐远涛同学，能住到一起是缘分，和你们住 的日子很开心，你们对科研的钻研态度总能深深感染我，从你们身上我获益颇丰。感 谢柏中强、崔珂瑾、戚均慧、陈娱、王雅竹等同学三年在生活和学习上给予的关心和 帮助。感谢所有808 班的兄弟姐妹，我们的班集体充满了友爱。 感谢本科同学单宇翔、邱儒、吴亚南、胡倩，找工作时候你们的支持、帮助、鼓 励让我印象深刻。感谢魏丹青、钱苗，感谢从杭州到北京一路过来的吃喝玩乐。 感谢研究生部路小娟老师、王淑强老师、陈力老师等的帮助；感谢实验室马志鹏 老师对实验室的照顾；感谢网络中心姚一鸣老师对于装机、网络等方面提供的帮助。 感谢日夜操劳的父母，含辛茹苦把我养育成人，并为我提供了一个良好的学习环 境，一切的不容易我都看在眼里，记在心里。毕业了之后我一定会努力工作，认真生 活，继续做一个让你们骄傲的好儿子。 再一次由衷感谢所有关心和帮助过我的师长、同学、亲友！ 摘 要 随着栅格数据获取技术的不断提高，人们所获取的栅格数据正以指数级增长。传 统的栅格数据存储与管理方案已无法很好的处理海量栅格数据。如何高效地存储管理 与分析处理这些海量栅格数据，已成为一个亟待解决的重要问题。云计算作为一种新 的计算模式，其资源池化、快速部署、弹性收缩、按需使用的特点为解决这一问题提 供了思路。 Hadoop 作为Google 云计算模式的开源实现，其核心是分布式文件系统HDFS 和 分布式计算框架MapReduce 。HDFS 具有容错性、可伸缩、快速部署、成本低的优点， MapReduce 框架具有内在的并行性。Pydoop 提供了编写Python 风格MapReduce 应 用的API，相对于其他Python 风格的MapReduce 编程方式具有较明显的优势。本文 旨在研究基于Hadoop 平台的栅格存储与计算框架实现，提供一种高可靠、可伸缩、 易使用、低成本的栅格数据存储方案，并将MapReduce 计算模型运用到栅格数据的 分析处理中，同时以方便快捷的使用方式提供给用户。 栅格数据像元的分布即代表其空间关系，HDFS 不能直接用于栅格数据的存储。 为在HDFS 中保留栅格数据的空间关系，本文采用基于tile 的栅格数据存储方案，即 栅格数据按矩形块划分存入block ，block 中栅格数据以tile 为基本单位进行组织。同 时采取分布式缓存元数据、构建索引数据结构、保留重叠区和基于tile 的数据压缩等 技术实现基于HDFS 的栅格数据存储，数据入库采用Hadoop 提供的HDFS API 。 根据栅格数据的特点，其计算模式可分为像元级、邻域级、区域级和全局级， Hadoop 平台只适合处理像元级计算和邻域级计算。本文针对这两种计算模式，提出 了栅格数据的 MapReduce 计算模型，阐述了其基本计算单元和内在并行模式。通过 Pydoop 封装，屏蔽MapReduce 计算框架的底层细节，并分别介绍了像元级计算和邻 域级计算在Pydoop 中的实施过程。 本文以SPOT 数据为例，在Hadoop 平台上进行NDVI 指数计算实验和空间滤波 实