计算机应用与软件 201402-海量结构化数据查询系统的研究与实现.pdfVIP

第３１ 卷第２期　　　 计算机应用与软件 Ｖｏｌ３１ Ｎｏ．２ ２０１４年２ 月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｆｅｂ．２０１４ 海量结构化数据查询系统的研究与实现 朱立红　杨鹤标 （江苏大学计算机科学与通信工程学院　江苏镇江２１２０１３） 摘　要　　随着电子商务和信息技术的飞速发展，企业需要存储和处理的数据量正在以惊人的速度增长，而传统的关系型数据库管 理系统已无法满足企业对大规模数据的处理需求，因此，基于云计算的海量结构化数据处理日益成为人们关注的热点。针对Ｈａ ｄｏｏｐ云计算平台在处理结构化数据方面的不足，给出一种以异构的数据库集群作为底层的数据存储系统，以扩展的ＭａｐＲｅｄｕｃｅ 框 架作为任务的管理和执行容器的查询系统。为提高查询的效率，给出一种优化的查询和数据分布策略。实验表明，该查询系统的执 行效率较Ｈｉｖｅ 有很大的提升。 关键词　　数据库集群　数据分布　ＭａｐＲｅｄｕｃｅ　Ｈａｄｏｏｐ 中图分类号　ＴＰ３９１．１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．０２．００８ ＲＥＳＥＡＲＣＨＡＮＤＩＭＰＬＥＭＥＮＴＡＴＩＯＮＯＦＭＡＳＳＩＶＥ ＳＴＲＵＣＴＵＲＥＤＤＡＴＡＱＵＥＲＹＳＹＳＴＥＭ ＺｈｕＬｉｈｏｎｇ　ＹａｎｇＨｅｂｉａｏ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＪｉａｎｇｓｕＵｎｉｖｅｒｓｉｔｙ，Ｚｈｅｎｊｉａｎｇ２１２０１３，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｗｉｔｈｔｈｅｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆｅｃｏｍｍｅｒｃｅａｎｄｉｎｆｏｒｍａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ，ｔｈｅａｍｏｕｎｔｏｆｄａｔａｔｈｅｅｎｔｅｒｐｒｉｓｅｓｈａｖｅｔｏｓｔｏｒｅａｎｄ ｐｒｏｃｅｓｓ ｉｓ ｇｒｏｗｉｎｇ ｉｎ ａｌａｒｍｉｎｇ ｓｐｅｅｄ．Ｈｏｗｅｖｅｒ，ｔｒａｄｉｔｉｏｎａｌ ＲＤＢＭＳ ｃａｎ ｎｏ ｌｏｎｇｅｒ ｍｅｅｔ ｔｈｅ ｄｅｍａｎｄ ｏｆｔｈｅ ｅｎｔｅｒｐｒｉｓｅｓ ｉｎ ｌａｒｇｅｓｃａｌｅ ｄａｔａｐｒｏｃｅｓｓｉｎｇ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｅ ｍａｓｓｉｖｅ ｓｔｒｕｃｔｕｒｅｄ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ ｂａｓｅｄ ｏｎ ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ ｉｓ ｉｎｃｒｅａｓｉｎｇｌｙ ｂｅｃｏｍｉｎｇ ｔｈｅ ｆｏｃｕｓ ｏｆ ｐｅｏｐｌｅ’ｓａｔｔｅｎｔｉｏｎ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｗｅ ｐｒｅｓｅｎｔ ａ ｄａｔａ ｓｔｏｒａｇｅ ｓｙｓｔｅｍ ｔｏ ｓｏｌｖｅ ｔｈｅ ｉｎｓｕｆｆｉｃｉｅｎｃｙ ｏｆＨａｄｏｏｐ ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ ｐｌａｔｆｏｒｍ ｉｎ ｐｒｏｃｅｓｓｉｎｇｔｈｅｓｔｒｕｃｔｕｒｅｄｄａｔａ．Ｔｈｅｓｙｓｔｅｍｕｓｅｓｈｅｔｅｒｏｇｅｎｅｏｕｓｄａｔａｂａｓｅｃｌｕｓｔｅｒａｓｔｈｅｕｎｄｅｒｌｙｉｎｇ，ａｎｄｕｓｅｓｅｘｔｅｎｄｅｄＭａｐＲｅｄｕｃｅｆｒａｍｅｗｏｒｋ ａｓｔｈｅｑｕｅｒｙｓｙｓｔｅｍｆｏｒｔａｓｋｓｍａｎａｇｅｍｅｎｔａｎｄｅｘｅｃｕｔｉｏｎｃｏｎｔａｉｎｅｒ．Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｑｕｅｒｙｅｆｆｉｃｉｅｎｃｙ，ｗｅｇｉｖｅａｎｏｐｔｉｍｉｓｅｄｑｕｅｒｙ ａｎｄｄａｔａｄｉｓｔｒｉｂｕｔｉｏｎｓｔｒａｔｅｇｙ．Ｗｉｔｈｔｈｅｅｘｐｅｒｉｍｅｎｔｓ，ｗｅｐｒｏｖｅｔｈａｔｔｈｅｑｕｅｒｙｓｙｓｔｅｍｇｒｅａｔｌｙｉｍｐｒｏｖｅｔｈｅｅｘｅｃｕｔｉｏｎｅｆｆｉｃｉｅｎｃｙｃｏｍｐａｒｅｄｗｉｔｈ Ｈｉｖｅ． Ｋｅｙｗｏｒｄｓ　　Ｄａｔａｂａｓｅｃｌｕｓｔｅｒ　Ｄａｔａｄｉｓｔｒｉｂｕｔｉｏｎ　ＭａｐＲｅｄｕｃｅ　Ｈａｄｏｏｐ 进，扩展或增强现有的ＭａｐＲｅｄｕｃｅ模型以提高某些处理操作的 ０　引　言