面向集合的 MapPartition 计算模型的研究与实现-计算机软件与理论专业毕业论文.docxVIP

西安电子科技大学 学位论文独创性（或创新性）声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 日期 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 （保密的论文在解密后遵守此规定） 本学位论文属于保密，在 年解密后适用本授权书。 本人签名： 日期 导师签名： 日期 摘要 随着互联网技术的发展和云计算技术的出现，越来越多的公司企业开始面对海 量数据的处理。传统的集中式处理方式和分布式处理方式很难满足海量数据的计 算需求，而云计算技术的发展则为大规模数据处理提供了很好的技术平台。然而， 在云计算环境下的数据处理具有内在的高度并行性，并且是分布式的，这与传统 的顺序程序存在巨大差异。如何为普通用户提供一个简洁而又功能强大的编程模 型与接口，是当今云计算技术研究的重点。现有云计算环境下的计算模型往往对 迭代式编程的支持不够，并通常要求用户实现特定的自定义函数，而用户对程序 的逻辑缺少控制，不能像顺序程序一样简单的编写代码。 本文针对以上问题，通过对现有计算模型的研究，设计出了面向集合的 MapPartition 计算模型（Set-oriented Map Partition Computational Model，SOMP）。 该模型由一个 Main 函数和一些用户自定义的操作组成。在 Main 函数中，用户可 以像顺序程序一样进行迭代式编程，然后通过模型提供的一些原语将自定义的一 些操作作用在一些键值对集合上。通过操作的延迟执行和优化，SOMP 模型能够 很好的利用数据缓存提高计算效率。经过实际测试，该计算模型在处理迭代式数 据计算时具有较高的效率。 关键词：云计算模型 键值对集合 MapPartition 模型数据缓存 Abstract With the development of Internet technology and the emergence of cloud computing technology, a large growing number of companies begin to face the massive data processing. The traditional centralized or distributed approach is difficult to meet the computing needs of large amounts of data, but the cloud computing technology provides a good platform for the large-scale data processing. However there is a huge difference between the sequential program and the data processing under cloud computing environment, which has a high degree of parallelism, and is distributed. How to provide users with a simple yet powerful programming model and interface, is the focus of the study of cloud computing technology. Without powerful support for iterative programming models, existing cloud computing environments often require users to define some specific custom functions, at the cost of lack