面向Storm的数据流编程模型与优化方法研究-计算机应用技术专业毕业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□ ，在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 华 华 中 科 技 大 学 硕 士 学 位 论 文 I I 摘 要 分布式计算框架利用廉价 PC 构建多核集群解决了大规模并行计算问题，但是在 分布式计算框架上编程需要考虑程序子任务间的负载均衡和通信同步开销，编程难 度大。数据流编程模型作为面向特定领域的编程模型，它将程序的计算与通信分离， 暴露了应用程序潜在的并行性并简化了编程难度。但由于分布式架构下的多核集群 含有层次性存储结构和处理单元，这为数据流程序的性能提出了新的挑战，并且数 据流程序在分布式架构下的可编程性也为数据流编译器提出了更高的要求。 针对数据流程序在分布式架构下所面临的问题，设计并实现了数据流编程模型 和分布式计算框架的结合——在 COStream 的基础上提出了面向 Storm 的编译优化框 架。面向 Storm 的编译优化方法包括二个步骤：面向 Storm 的层次性任务划分与调 度，以及面向 Storm 的层次性软件流水与代码生成。层次性任务划分利用 Storm 的任 务调度机制将程序所有子任务分配到 Storm 集群节点内的多核上，根据划分目标平 台的不同可分为集群节点间的任务划分和节点内多核间的任务划分。层次性软件流 水与代码生成利用多核集群节点间的并行性以及节点内多核间的并行性，将子任务 构造成集群节点间的软件流水和节点内多核间的软件流水，并生成相应的目标代码。 实验以多核集群为目标平台，在集群上搭建 Storm 分布式架构，选取数字媒体 处理领域典型程序作为测试程序，对面向 Storm 的编译优化后的程序进行实验分析。 实验结果表明了结合方法的有效性。 关键词： 数据流编程模型，分布式计算框架，Storm，COStream II II Abstract Distributed computing framework use cheap PC for building multi-core cluster to solve the problem of large-scale parallel computing, but programming on Distributed computing framework is still a very complex task because of the need to consider load balance, communication and synchronization overhead. As a domain specific programming model, data flow programming combines the features of media applications and programming languages and offers an attractive way to express the parallelism. However, hierarchy storage structure of multi-core cluster architecture puts forward new challenge for the performance of data flow application. Besides, the programmability remains a significant challenge for the compiler. Aiming at the data flow programming model in the face of big data processing of digital media field problem, design and implementation