Simrank并行化研究.pdf

摘要 对象之间的相似度计算，在计算机科学的很多领域中都有迫切的需求。 Simrank 作为一种通用的、基于链接关系的相似度算法，定义简单直观并且具有 良好的理论基础，是目前最具有影响力的相似度算法。但 Simrank 的计算过程 复杂，可扩展性差，阻碍了它的进一步应用，特别是在大规模图（large graph ） 上的应用，因此很多研究人员对 Simrank 相似度计算提出了很多优化措施，如 阈值剪枝、确定迭代次数、预计算等。 虽然 Simrank 的优化方面取得了很大的进展，但是已有的研究工作中缺少相 似度并行计算方面的研究。同时，在实际的计算过程中往往采用数据引擎对相 似度矩阵或者邻接矩阵进行存储管理，Simrank 迭代计算对这两个矩阵的随机、 频繁访问导致计算的单位代价特别高。因此本文考虑利用稀疏矩阵乘法来直接 对相似度矩阵进行迭代计算，并考虑对它进行并行化。 目前针对稀疏矩阵-矩阵乘法（SpMM，sparse matrix-matrix multiply ）的研 究局限于内存算法，而且并行计算方面的研究也大都集中于稀疏矩阵- 向量乘法 （SpMV，sparse matrix-vector multiply ）。本文设计实现了一种可扩展的稀疏矩 阵-矩阵乘法，并进行了并行化研究。为了隐藏集群环境下并行 SSpMM 算法的 通讯代价，本文还提出了一种改进的算法。 在 SSpMM 的研究基础上，本文利用相似度矩阵的对称性和已有的优化手段 （阈值剪枝、确定迭代次数），实现了一种具有良好可扩展性的相似度迭代算法： SSimrank。在与已有研究的对比实验中，单台机器上机四核并行（可用内存1GB） 的 SSimrank 算法对相似度的迭代计算的计算速度提升了 20 多倍，而双机双核 （可用内存512MB ）的 SSimrank 算法则提升了 15 倍左右，充分验证算法的高 效性。 关键字： 相似度计算；并行计算；Simrank；SpMM；可扩展性 Abstract Similarity computation between objects is requried in many filed of computer science. Simrank is a general, link-based similarity measure, and a most influential algorithm because of it’s simple and intuitive definition and solid theory foundation. But the efficiency and scalability issues lay in the way of its practical applications, especialy large graph related applications. In recent years, various approaches have been proposed to accelerate the Simrank computation, such as pruning, pre-computation etc. Howerver, there are few works on parallel compuation of Simrank in previous work. And Simrank iterative computation is always based on the data-engine that makes the unit cost of IO much higher than usual. In this paper we propose a algorithm to compute Simrank similiarity directly using SpMM(sparse matrix-matrix multiply), and to parallize the compuation.