水利普查成果数据立方体并行计算方法研究.pdfVIP

第 4期 水 利 信 息 化 NO．4 2015年 8月 WaterRe$oHrcesInformatization Aug．，2015 水利普查成果数据立方体并行计算方法研究 唐珊珊，万定生，朱跃龙，余宇峰，朱 凯 (河海大学计算机与信息学院，江苏 南京 210098) 摘 要：水利普查成果数据具有数据量大、维度多、维度分层等特点，因此物化水利普查成果数据立方体，所需 的时间空间成本非常高。提 出一种基于Map／Reduce计算模型进行外壳片段立方体并行计算的新方法。实验结果 表明，该方法能够有效地提高在大数据集上计算外壳片段立方体的效率，降低物化水利普查成果数据立方体的时 间空间成本。将水利普查成果数据立方体应用于多维分析系统，从多方面清晰直观地展现水利普查成果数据。 关键词：水利普查；数据立方体；外壳片段立方体；MapR／educe技术 中图分类号：TV21 文献标识码 ：A 文章编号：1674—9405(2015)04—0001—07 0 引言 据立方体物化效率，最后将生成 的水利普查成果数 据立方体应用于多维分析系统展示。 水利普查是一项重大的国情 国力调查 ，是 国 家资源环境调查的重要组成部分 。开展水利普查是 1 水利普查成果数据立方体 为了查清我国江河湖泊等的基本情况，建立国家基 础水信息平 台，展现水利普查成果数据 ，为国家经 1．1 水利普查成果数据主题设计 济社会发展提供科学可靠的基础 【】。联机分析处理 第一次全 国水利普查涉及河流湖泊、水利工 (OLAP)向用户提供及时分析数据以辅助决策，在 程、经济社会用水、河湖开发治理保护、水土保持和 OLAP中数据通常以数据立方体 (DataCube)2[1形式 水利行业能力建设等情况及灌区和地下水取水井等 存储，数据立方体的物化可以大幅度减少查询响应 8大专题 33小类近 1亿个基本对象，包括300余个 时间，提高 OLAP性能。但完全物化数据立方体通 指标，2000余个普查数据项。经过全国各级水利普 常需要非常高的空间和时间成本。为了提高数据立 查机构审核、汇总分析等，形成了我国迄今最为全 方体生成和查询效率，许多专家学者提出了Iceberg 面细致、完整系统的涉水基础数据资源和规范权威 Cube3【】，CondensedCube4[]和 QuotientCube[51等物 的水利普查成果数据。 化方法 ，这些方法在多维分析应用 中起着重要的作 根据中国水利水 电科学研究院研制 的 《水利 用。水利普查设计了 300余项统计指标，包括 8大 普查成果分析基本主题设计》报告，将水利普查成 专题、33小类、近 1亿个基本对象，使得水利普查 果数据基本主题设计按 四级层次进行规划，一级主 成果数据具有覆盖面广、数据量大、维度多、维度 题为水利普查的 6个专业方 向，普查中的灌区专项 分层等特点，数据维度可以达到 20个，记录数也常 和地下水井、水源地作为水利工程并入水利工程类 常超过 106条。因此物化水利普查成果数据立方体需 中，二级主题为水利普查各类对象 ，三级主题为水 要极高的时间空间成本 【】。 利普查对象的属性和关系分类主题，四级主题为分 基于上述背景，提出一种基于Map／Reduce的外 类主题下水利普查对象的主要指标相关主题。直接 壳片段立方体并行计算方法 ，提高水利普查成果数 分析主题总计 271个 (