基于改进的MapReduce并行计算框架的网上拍卖系统-计算机软件与理论专业论文.docxVIP

摘要 摘要 摘要 伴随着电子计算机以及网络技术的飞速发展，人们逐渐习惯于在网上进行交 易。在这样的背景下，网上拍卖快速发展起来，成为电子商务的重要组成部分。 同时，作为云计算中的关键技术，MapReduce 并行计算框架正逐渐在海量数据处 理领域得到广泛应用。 本文改进了 MapReduce 并行计算框架，并在此基础上设计开发了一个网上拍 卖系统。首先，通过对已有网上拍卖模式进行调研分析，设计了基于英式拍卖改 进的网上拍卖流程，解决了投标者随意报价和临近拍卖结束时突然报价的问题； 然后，深入研究了 MapReduce 并行计算框架，分析了传统的 MapReduce 中存在的 数据倾斜问题和输出数据格式限制问题，分别提出了基于映射表的数据均匀分配 和两次执行 reduce 操作的解决方案，并据此改进了 MapReduce 模型架构；其次， 采用改进的 MapReduce 来处理拍卖数据，设计并实现了一个网上拍卖系统；最后， 搭建了 Hadoop 平台环境来进行数据实验，并对网上拍卖流程进行了功能测试，实 验结果表明改进方案的优越性及拍卖系统的可用性。 关键词：网上拍卖 MapReduce 并行计算框架 Hadoop 平台 数据倾斜 Abstract Abstract Abstract Along with the rapid development of computer and n