X-StreamEdge-centricGraphProcessingusingStreamingPartitions..docVIP

X-Stream: Edge-centric Graph Processing using Streaming Partitions 摘要 X-Stream是在共享存储机器上既能处理存放于外存，又能处理存放于内存的图数据处理系统。虽然依然采用在顶点集中存储图状态的发散和收集编程模型，X-Stream的新颖之处在于（i）采用edge-centric而不是vertex-centric来实现这个模型，（ii）对完全无序的边列表实行流式传输而不是随机访问。对所有的存储介质（主存，固态硬盘，磁盘 ）来说，顺序访问带宽实际上要比随机访问带宽大是促动这一设计的主要原因。 我们已经证实了大量的图算法可以用这种edge-centric的发散与收集模型表示。 这个实现结果在具有不同数量的计算核心，不同数量的I/O设备，不同的存储介质的计算机上得到了很好的扩展。X-Stream在和现有的图数据处理系统的竞争中表现突出。除了采用顺序访问外，我们认为X-Stream在预处理过程中不需要存储边列表也是其表现突出的主要原因。 1 引言 对大规模图数据的分析是一个开始在研究领域吸引更多注意的应用程序。人们对其兴趣高涨一部分是因为在现实世界中不同种类的大量信息是用图来编码的。图数据处理面临一个有趣的系统挑战：在遍历边时缺少其位置信息使获得好的性能变得困难。 这篇论文描述了X-Stream，