InfoSphere+StreamS中图处理中间件设计和实现.doc

A Thesis Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Engineering The Design and Implementation of Graph Processing Middleware on InfoSphere StreamS Candidate : Liu Xiaohua  Major  : Computer Architecture  Supervisor : Assoc. Prof. Cao Qiang Huazhong University of Science Technology Wuhan 430074, P.R.China January, 2012 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：  日期：  年  月  日  学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。  保密□，  在  年解密后适用本授权书。 本论文属于不保密□。 （请在以上方框内打“√”）  学位论文作者签名：  指导教师签名：  日期：  年  月  日  日期：  年  月  日 华 中 科 技 大 学 硕 士 学 位 论 文  摘  要  众多实际的问题可以抽象为图的模型，如网络拓扑、社交网络、网页超链接等。 针对这些应用需求，业界和学术界开发了很多基于图的算法、计算框架、开源软件、 函数库，这在一段时间内满足了应用的需求。这些方案的重点是提升离线计算的效 率，不关注图数据的实时处理、快速查询，部分方案可处理数据的规模有限，但随 着当前图应用规模的扩大和新需求的产生以及分布式处理、流式处理的发展，旧的 这些解决方案已经不能适应当前应用的要求，因此设计一个高效的图处理框架或工 具是有意义的。 基于 IBM 的流处理系统（InfoSphere StreamS)，设计和实现了一个可以处理图的 中间件原型，运行于 StreamS 的应用可以直接调用它的接口来进行与图相关的处理。 中间件在功能上，以图的查询为核心功能做设计，综合考虑图的更新、计算、查询 和流式处理；在图的表示上，以顶点为核心，并设计了附属结构，加快图的遍历和 查询，采用内存预分配和缓回收等技术来优化图的基本操作的性能；在图的计算上， 采用 Google 的图处理框架 Pregel；在数据传输和容错处理上，采用 StreamS 的内部 库实现部分数据传输和容错处理；在流处理方面，通过在缓存、通信、并行处理、 在线计算方面做优化来满足流处理应用的特点；在接口方面，根据 StreamS 的规范编 写交互接口，内部实现对应用透明。 通过实验，验证了原型系统在图的存储、计算和查询方面的功能，并对系统进 行了测试。在核心功能查询性能上，中间件（三个工作结点）相对于采用通用函数 库实现的单机传统的图处理框架，性能提高 130%，相对于其它多机（三个工作结点） 并行图处理框架平均性能提高 14%。计算对查询性能的影响由 64%降为 0.5%，减少 了计算对查询的影响。高并发查询时，CPU 的使用率由单机的 100%降为 69%，内存 使用率由单机的 98%降为 40%。结果表示，中间件原型在功能上满足了 InfoSphere StreamS 的需求，在性能上优于传统的单机模型和并行处理框架。 关键词：图模型，图表示，图并行处理，图计算框架，流处理 I 华 中 科 技 大 学 硕 士 学 位 论 文 Abstract Many practical problems can be abstracted as graph models, such as network topology, social network, web links and so on. In response to these needs, industry and academia developed a number of graph-based algorithms, computational fr