针对特定应用领域的大数据存储与处理.pdf

针对特定应用领域的大针对特定应用领域的大 数据存储与处理 清华大学计算机系 黄震春 0909.2020 从“空间信息网格”说起 2002年起，863对地观测主题（13主题）支持 以网格技术（Grid）为基础，构建空间信息网 格格 ，为多源异构遥感数据的存储与处理提供服为多源异构遥感数据的存储与处理提供服 务平台 其核心问题即实现遥感领域的海量数据存储与 处理服务 处理服务 以Globus 2为代表的网格中间件主要面向超级 计算设计计算设计 ，网格应用主要也在超级计算领域网格应用主要也在超级计算领域 “空间信息网格”中的大数据存储 遥感数据 海量、异构、多源 数据内容相对固定数据内容相对固定 ：：元数据元数据 ++影像数据影像数据 单条数据大 针对遥感数据针对遥感数据 的海量数据存 储与分发 针对特定应用领域的针对特定应用领域的 专用技术手段 “空间信息网格”中的大数据存储 数据源的实现 Broker的实现 “空间信息网格”中的大数据存储 影像文件+数据库+WS的架构 存储并共享数据 88个数据来源个数据来源 6种不同数据，包括TM、 MODISMODIS、DEMDEM等等 总数据量1.5TB左右 一点经验 不同的应用领域在数据的结构与使用模式上差 别很大 通用技术经常难以满足这种不同的需求通用技术经常难以满足这种不同的需求 针对这种不同进行特定的设计与优化对于应用 系统的实现至关重要 没有 “万应良药” 没有 万应良药 从网格到云 基于Hadoop的分布式遥感数据处理探索 以“全球干旱指数”计算为例 计算计算10年年*46天天全球干旱指数球干旱指数 使用MODIS MOD09A1数据，源数据7.6TB 遥感影像数据以文件形式存储在遥感影像数据以文件形式存储在HDFSHDFS文件系统中文件系统中 干旱指数计算 NDWINDWI // （（公式公式11）） 2 6 2 6 AWI （公式2） ∑NDWINDWIi i2000 NDWI 11 （公式3） 从网格到云 基于Hadoop的分布式遥感数据处理探索 将遥感影像处理算法映射到Map-Reduce抽象上 基于Hadoop的遥感数据处理探索 总体框架 问题 面临一系列问题 数据组织与使用模式难以match 与已有工具与已有工具//库的不兼容库的不兼容 定制化处理的难度 语义信息无法指导存储分布和并发调度的优化语义信息无法指导存储分布和并发调度的优化 原因 通用的中间层损失了过多的应用级信息/知识 出路出路 针对应用领域特点进行更加深入的定制 针对遥感数据共享与处理的定制 更加灵活和可定制的基础架构 面向应用领域的数据存储方式设计 更柔性的并发模型更柔性的并发模型 就近处理原则 Robinia WAN + Distributed + Scientific DIC 无中心分布式架构，避免单点失效 使用标准协议使用标准协议 （（如如HTTPHTTP ）） 以通过防火墙 支持基于数据分布的支持基于数据分布的 Data Parallel Computing 易于部署 易于扩展