基于并行技术大数据量统计分析探讨.pdfVIP

第２８卷第３期　　　 计算机应用与软件 Ｖｏｌ２８Ｎｏ．３ ２０１１年３月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｍａｒ．２０１１ 基于并行技术的大数据量统计分析探讨 王桂强　陆朝俊 （上海交通大学　上海２００２４０） 摘　要　　当前，企业有着对海量信息数据进行统计分析的迫切需求。面对海量的数据，如何高效地得到统计结果，是分析过程中 一个很重要的环节。在分析了当前出现的大数据量处理方法的基础上，进行了比较。得到了并行计算架构的数据库是解决此问题 的最佳手段，并且进行了性能测试，得到了对比结果。相信对从事相关研究的同行有着一定的参考价值。 关键词　　ＭａｐＲｅｄｕｃｅ　并行数据库　ＳＱＬ　Ｇｒｅｅｎｐｌｕｍ ＰＲＯＢＩＮＧＰＡＲＡＬＬＥＬＴＥＣＨＮＩＱＵＥＢＡＳＥＤＳＴＡＴＩＳＴＩＣＡＬ ＡＮＡＬＹＳＩＳＦＯＲＥＮＯＲＭＯＵＳＤＡＴＡ ＷａｎｇＧｕｉｑｉａｎｇ　ＬｕＣｈａｏｊｕｎ （ＳｈａｎｇｈａｉＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２００２４０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ａｔｐｒｅｓｅｎｔ，ｅｎｔｅｒｐｒｉｓｅｓｈａｖｅｕｒｇｅｎｔｎｅｅｄｓｔｏｃｏｎｄｕｃｔｓｔａｔｉｓｔｉｃａｌａｎａｌｙｓｉｓｏｎｅｎｏｒｍｏｕｓｉｎｆｏｒｍａｔｉｏｎｄａｔａ．Ｆａｃｉｎｇｕｐｔｈｅｅｎｏｒｍｏｕｓ ｄａｔａ，ｈｏｗｔｏｅｆｆｉｃｉｅｎｔｌｙｏｂｔａｉｎｓｔａｔｉｓｔｉｃａｌｒｅｓｕｌｔｓｉｓａｖｅｒｙｉｍｐｏｒｔａｎｔｌｉｎｋｉｎａｎａｌｙｓｉｓｐｒｏｃｅｓｓ．Ｏｎｔｈｅｂａｓｉｓｏｆａｎａｌｙｓｉｎｇｃｕｒｒｅｎｔｍｅｔｈｏｄｓｏｆｐｒｏ ｃｅｓｓｉｎｇｅｎｏｒｍｏｕｓｄａｔａ，ｔｈｅａｕｔｈｏｒｍａｄｅｔｈｅｃｏｍｐａｒｉｓｏｎｏｎｔｈｅｍ．Ｔｈｅｃｏｎｃｌｕｓｉｏｎｄｅｒｉｖｅｄｗａｓｔｈａｔｔｈｅｄａｔａｂａｓｅｗｉｔｈｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇａｒｃｈｉ ｔｅｃｔｕｒｅｉｓｔｈｅｂｅｓｔｍｅａｎｓｔｏｒｅｓｏｌｖｅｔｈｅｉｓｓｕｅ．Ａｐｅｒｆｏｒｍａｎｃｅｔｅｓｔｗａｓｃｏｎｄｕｃｔｅｄａｎｄｔｈｅｃｏｍｐａｒｉｓｏｎｏｕｔｃｏｍｅｓｗｅｒｅｇｏｔ．Ｉｔｉｓｂｅｌｉｅｖｅｄｔｈａｔｔｈｉｓ ｓｔｕｄｙｈａｓｃｅｒｔａｉｎｒｅｆｅｒｅｎｃｅｖａｌｕｅｔｏｔｈｅｃｏｕｎｔｅｒｐａｒｔｓｅｎｇａｇｉｎｇｉｎｒｅｌａｔｅｄｒｅｓｅａｒｃｈｅｓ． Ｋｅｙｗｏｒｄｓ　　ＭａｐＲｅｄｕｃｅ　ＰａｒａｌｌｅｌＤａｔａｂａｓｅ　ＳＱＬ　Ｇｒｅｅｎｐｌｕｍ 化的结果。它将简单的计算作为接口展现在前面，而对复杂的 ０　引　言 并行化处理、容错、数据分布和负载平衡均进行了隐藏。这样大 大简化了程序员对分布式程序的开发难度，每个程序只要用自 随着信息技术的发展，很多领域对信息系统的建设处在转 己最熟悉的需要实现数据的处理接口就可以了，而不用去考虑 型阶段。以金融领域为例，后续ＩＴ建设的重心逐步从建设“核 并行处理的任何细节。 心业务交易系统”进入到构建“以客户为中心、以风险控制和赢 ＭａｐＲｅｄｕｃｅ主要是 Ｍａｐ和 Ｒｅｄｕｃｅ两个操作上的概念。 利分析为目标的信息管理系统”的发展阶段。构建企业级数据 Ｍａｐ操作主要是对一组输入记录进行处理，处理的方式是根据 仓库是实现这一转型的最佳方案，因为它能够整合集成来源不 同系统的数据，提供统一、一致的企业信息数据版本，实现数据 典型的ｋｅｙ／