大数据分析中基于MapReduce的空间权重创建方法-计算机应用研究.PDFVIP

第３３卷第７期 计 算 机 应 用 研 究 Ｖｏｌ３３Ｎｏ７ 　 　 ２０１６年７月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｊｕｌ．２０１６ 大数据分析中基于ＭａｐＲｅｄｕｃｅ的 空间权重创建方法研究 １ ２ ３ ４ 赵梦龙 ，唐郑熠 ，万　良 ，韦　力 （１．贵州职业技术学院信息技术系，贵阳５５００２３；２．福建工程学院信息科学与工程学院，福州３５０１１８；３．贵 州大学计算机科学与技术学院，贵阳５５００２５；４．贵州师范大学数学与计算机科学学院，贵阳５５０００４） 摘　要：大数据空间分析是ＣｙｂｅｒＧＩＳ的重要方面。如何利用现有的网络基础设施（如大规模计算集群）对大 数据进行并行分布式空间分析仍然是一大难题。提出一种基于ＭａｐＲｅｄｕｃｅ的空间权重创建方法。该方法依托 Ｈａｄｏｏｐ框架组织计算资源，基于ＭａｐＲｅｄｕｃｅ模式从大规模空间数据集中高效创建出空间权重：大空间数据首先 被分为多个数据块，然后将映射器分布给计算集群中的不同节点，以便在数据中寻找出空间对象的相邻对象，最 后由约简器从不同节点处收集相关结果并生成权重文件。利用Ａｍａｚｏｎ公司弹性ＭａｐＲｅｄｕｃｅ的Ｈａｄｏｏｐ框架，从 人工空间数据中创建基于邻近概念的权重矩阵进行仿真，实验结果表明，本方法的性能优于传统方法，解决了大 数据的空间权重创建问题。 关键词：大数据空间分析；ＭａｐＲｅｄｕｃｅ；空间权重；附近邻居；可扩展性 中图分类号：ＴＰ３９１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１６）０７２０６８０３ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１６．０７．０３２ Ｒｅｓｅａｒｃｈｏｎｃｏｎｓｔｒｕｃｔｉｏｎｍｅｔｈｏｄｏｆｓｐａｔｉａｌｗｅｉｇｈｔｓｂａｓｅｄｏｎ ＭａｐＲｅｄｕｃｅｉｎａｎａｌｙｓｉｓｏｆｂｉｇｄａｔａ １ ２ ３ ４ ＺｈａｏＭｅｎｇｌｏｎｇ，ＴａｎｇＺｈｅｎｇｙｉ，ＷａｎＬｉａｎｇ，ＷｅｉＬｉ （１．Ｄｅｐｔ．ｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＧｕｉｚｈｏｕＶｏｃａｔｉｏｎａｌＴｅｃｈｎｏｌｏｇｙＩｎｓｔｉｔｕｔｅ，Ｇｕｉｙａｎｇ５５００２３，Ｃｈｉｎａ；２．ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆ Ｅｎｇｉｎｅｅｒｉｎｇ，ＦｕｊｉａｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｆｕｚｈｏｕ３５０１１８，Ｃｈｉｎａ；３．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＧｕｉｚｈｏｕＵｎｉｖｅｒｓｉｔｙ， Ｇｕｉｙａｎｇ５５００２５，Ｃｈｉｎａ；４．ＳｃｈｏｏｌｏｆＭａｔｈｅｍａｔｉｃｓ＆ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＧｕｉｚｈｏｕＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｇｕｉｙａｎｇ５５０００４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＳｐａｔｉａｌａｎａｌｙｓｉｓｏｆＢｉｇｄａｔａｗａｓａｋｅｙｃｏｍｐｏｎｅｎｔｏｆＣｙｂｅｒＧＩＳ．Ｈｏｗｅｖｅｒ，ｈｏｗｔｏｕｔｉｌｉｚｅｅｘｉｓｔｉｎｇｃｙｂｅｒｉｎｆｒａｓｔｒｕｃｔｕｒｅ （ｅ．ｇ．ｌａｒｇｅｃｏｍｐｕｔｉｎｇｃｌｕｓｔｅｒｓ）ｔｏｐｅｒｆｏｒｍｐａｒａｌｌｅｌａｎｄｄｉｓｔｒｉｂｕｔｅｄｓｐａｔｉａｌａｎａｌｙｓｉｓｏｎＢｉｇｄａｔａｒｅｍａｉｎｓａｈｕｇｅｃｈａｌｌｅｎｇｅ．Ｔｏ ｓｏｌｖｅｔｈｉｓ