k无线城市社团发现算法的研究.PDFVIP

第３５卷第１２期 计 算 机 应 用 研 究 Ｖｏｌ３５Ｎｏ１２ ２０１８年１２月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｄｅｃ．２０１８ 基于Ｓｐａｒｋ无线城市社团发现算法的研究 王永贵，徐山珊，肖成龙 （辽宁工程技术大学软件学院，辽宁 葫芦岛１２５１０５） 摘　要：针对已有的社团发现算法存在时间复杂度较高、运行过程会产生大量重复团等问题，引入二叉树的存 储结构、权重排序、深度优先遍历的概念，与Ｓｐａｒｋ基于内存计算的特点相结合，提出一种改进的并行化ＳＴＣＳ 算法。通过搭建Ｓｐａｒｋ大数据平台实现该算法，并与传统团搜索ＣＳ算法和基于Ｈａｄｏｏｐ的ＭＲＴＣＳ算法进行性 能对比。实验结果表明，ＳＴＣＳ算法解决了生成结果冗余的问题，降低了时间代价，提升了社团发现算法的运行 速度和对海量数据的处理能力。 关键词：社团发现；权重排序；深度优先遍历；Ｓｐａｒｋ 中图分类号：ＴＰ３０１．６　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１８）１２３６４８０４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１８．１２．０２８ ＲｅｓｅａｒｃｈｏｎｃｏｍｍｕｎｉｔｙｄｉｓｃｏｖｅｒｙａｌｇｏｒｉｔｈｍｏｆｗｉｒｅｌｅｓｓｃｉｔｙｂａｓｅｄｏｎＳｐａｒｋ ＷａｎｇＹｏｎｇｇｕｉ，ＸｕＳｈａｎｓｈａｎ，ＸｉａｏＣｈｅｎｇｌｏｎｇ （ＣｏｌｌｅｇｅｏｆＳｏｆｔｗａｒｅ，ＬｉａｏｎｉｎｇＴｅｃｈｎｉｃａｌＵｎｉｖｅｒｓｉｔｙ，ＨｕｌｕｄａｏＬｉａｏｎｉｎｇ１２５１０５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇａｔｔｈｅｅｘｉｓｔｉｎｇｃｏｍｍｕｎｉｔｙｄｉｓｃｏｖｅｒｙａｌｇｏｒｉｔｈｍｈａｄｔｈｅｐｒｏｂｌｅｍｓｏｆｈｉｇｈｅｒｔｉｍｅｃｏｍｐｌｅｘｉｔｙ，ｏｐｅｒａｔｉｏｎ ｐｒｏｃｅｓｓｐｒｏｄｕｃｅｄａｌｏｔｏｆｒｅｐｅａｔｅｇｒｏｕｐ，ｅｔｃ．Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｄｔｈｅｃｏｎｃｅｐｔｏｆｔｗｏｂｉｎａｒｙｔｒｅｅｓｔｏｒａｇｅｓｔｒｕｃｔｕｒｅ，ｗｅｉｇｈｔｓ ｓｏｒｔｉｎｇ，ｄｅｐｔｈｆｉｒｓｔｔｒａｖｅｒｓａｌ，ｃｏｍｂｉｎｅｄｗｉｔｈｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｏｆＳｐａｒｋｂａｓｅｄｏｎｍｅｍｏｒｙｃａｌｃｕｌａｔｉｏｎ，ｐｒｏｐｏｓｅｄａｎｉｍｐｒｏｖｅｄ ｐａｒａｌｌｅｌＳＴＣＳａｌｇｏｒｉｔｈｍ．ＩｔｂｕｉｌｔＳｐａｒｋｂｉｇｄａｔａｐｌａｔｆｏｒｍｔｏｉｍｐｌｅｍｅｎｔｔｈｅａｌｇｏｒｉｔｈｍ，ａｎｄｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｔｒａｄｉｔｉｏｎａｌｇｒｏｕｐ ｓｅａｒｃｈＣＳａｌｇｏｒｉｔｈｍａｎｄｂａｓｅｄｏｎＨａｄｏｏｐＭＲＴＣＳａｌｇｏｒｉｔｈｍ．ＥｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅＳＴＣＳａｌｇｏｒｉｔｈｍｓｏｌｖｅｓｔｈｅ ｐｒｏｂｌｅｍｏｆｒｅｄｕｎｄａｎｔｒｅｓｕｌｔｓ，ｒｅｄｕｃｅｓｔｉｍｅｃｏｓｔ，ｉｍｐｒｏｖｅｓｔｈｅｓｐｅｅｄｏｆｔｈｅｃｏｍｍｕｎｉｔｙｄｉｓｃｏｖｅｒｙａｌｇｏｒｉｔｈｍａｎｄｔｈｅｐｒｏｃｅｓｓｉｎｇ ｃａｐａｃｉｔｙｏｆｍａｓｓｉｖｅｄａｔａ． Ｋｅｙｗｏｒｄｓ：ｃｏｍｍｕｎｉｔｙｄｉｓｃｏｖｅｒｙ；ｗｅｉｇｈｔｅｄｓｏｒｔｉｎｇ；ｄｅｐｔｈｆｉｒｓｔｔｒａｖｅｒｓａｌ；Ｓｐａｒｋ ｄｕｃｅ模型，提出了ＭＲＴＣＳ算法，但面临大量的磁盘Ｉ／Ｏ操作 ０　引言 的问题。 为进一步提升对海量数据的处理能力，本文提出了基于 随着互联网及社交软件的发展，社交网络也逐渐发展起 Ｓｐａｒｋ的无线城市社团发现ＳＴＣＳ