基于划分设计和放置传输阵列的编码分布式计算方案.pdf

广西师范大学硕士专业学位论文 目录 中文摘要I AbstractII 第1章引言 1 1.1研究背景及意义1 1.2 国内外研究现状2 1.3本文主要结果以及结构安排4 1.4 本文符号5 2 7 第 章编码分布式计算系统模型 2.1分布式计算框架7 2.2 将编码技术引入分布式计算10 3 13 第 章基于划分设计的编码分布式计算方案 3.1方案的设计13 3.2 方案的性能分析19 3.2.1方案的性能优势19 3.2.2 本方案与其他方案的对比23 3.3本章小结27 4 29 第 章基于放置传输阵列的多作业压缩编码分布式计算方案 4.1多作业压缩编码分布式计算的问题描述29 4.2 方案的设计33 4.2.1放置传输阵列的基本概念34 4.2.2作业、文件的放置与函数分配35 4.3方案的性能分析44 4.3.1方案的性能优势45 4.3.2 方案与其他方案的对比45 4.4 本章小结47 5 49 第 章总结与展望 5.1总结49 5.2 展望49 参考文献51 IV 广西师范大学硕士专业学位论文 攻读硕士学位期间的主要成果56 致谢 论文独创性声明 论文使用授权声明 V 广西师范大学硕士专业学位论文 第1 章 引言 1.1 研究背景及意义 近年来 ，随着数据量 的快速增长，大数据已经兴起并得到了广泛的应用 ，我们进入 了需要快速处理大量数据的大数据分析时代 。一个计算任务的数据量可能非常庞大，以 至于仅仅一台服务器无法完全处理这些数据。在大规模的分布式计算系统中，为了加速 计算进程，通常需要将一个计算任务划分为若干个更小的任务，并将这些任务分配到多 个服务器上执行。大数据分析时代需要快速处理大量数据，这推动了各种集群计算框架 （如MapReduce 、Hadoop 和Spark）使用量的激增。类似于MapReduce这样的分布式计算 框架经常被用于执行大规模计算任务。它们 的操作方式是将计算任务分割为许多较小的 任务，并把这些小任务分配给不同的服务器执行。 MapReduce [1]是一种编程模型，它支持在商品服务器集群上对大规模数据集进行分 布式处理 。MapRuduce 的理想特性，如可扩展性、简单性和容错性[2] [3] ，使得该框架在 文本/ 图形处理 、机器学习和生物信息学中的数据密集型工作 中广受欢迎 。简单地说 ， 在MapReduce框架 的中，每个输入数据块都由一个或多个服务器映射到一些中间 （键 、 值）对中。在下一步的数据交换中，中间 （键 、值）对在服务器之间传输，以减少到输出 结果。数据交换阶段是提高MapReduce运行时性能的关键瓶颈之一。 文献 [4]介绍了“编码MapReduce ”，这是一种新的框架，它支持并利用一种特定的编 码形式来显著减少数据交换阶段的通信负载。与传统的MapReduce方法相 比，我们证明 了编码MapReduce可 以通过一个与系统中服务器数量呈线性增长的乘法因子来大幅度降 低服务器间通信负载。提出的编码MapReduce利用不同服务器上相 同数据块 的重复映射 来实现编码。 在MapReduce框架 中，整个