基于Spark的社交网络特性分析.PDFVIP

第２９卷第５期 平顶山学院学报 Ｖｏｌ．２９Ｎｏ．５ 　　　　　　　　　　　　　 ２０１４年１０月 　　　　　　　　　　　　　 ＪｏｕｒｎａｌｏｆＰｉｎｇｄｉｎｇｓｈａｎＵｎｉｖｅｒｓｉｔｙ Ｏｃｔ．２０１４ 基于 Ｓｐａｒｋ的社交网络特性分析 邢立国，吕琼帅 （平顶山学院软件学院，河南平顶山４６７０９９） 摘　　　要：随着互联网对社会的持续渗透，社交网络得到了迅猛发展，也成为研究的一个热点．在大数据 时代，社交网络具有数据量极大的特点，传统的分析技术不能胜任．利用 Ｓｐａｒｋ分布式计算系统，进行了社交网 络的特性分析． 关　键　词：Ｓｐａｒｋ；分布式；社交网络 中图分类号：ＴＰ３０２．７　　　　文献标识码：Ａ　　　　文章编号：１６７３－１６７０（２０１４）０５－００８０－０４ 究表明［３－４］，即使用户通过复杂的设计，在Ｍａｐ－ ０　引言 Ｒｅｄｕｃｅ框架下实现迭代式的程序，它的处理性能 近些年，社交网络在国内外得到了快速发展． 也会非常低，这样就不能进行该类型程序的高性能 国外的社交网站Ｆａｃｅｂｏｏｋ成为全球访问量第一的 大规模计算． 网站．国内的微信截至２０１３年１１月用户数量突破 Ｍａｐ－Ｒｅｄｕｃｅ计算框架的经典实现是 Ｈａｄｏｏｐ ６亿，其中活跃用户２．７亿．因此社交网络的研究 系统，它是一种流行的高性能计算机系统［５］．同 极具科研价值和社会价值． 时，它也是一个高度可扩展的存储平台，因为它可 因为社交网络数据的海量特征，需要引入分布 以存储和分发横跨数百个并行操作的廉价的服务 式高性能计算系统进行数据处理和挖掘．笔者基于 器数据集群．不同于传统的关系型数据库系统不能 一种新型的分布式高性能计算系统进行社交网络 扩展到处理大量的数据，它能给企业提供涉及成百 的网络结构特性分析． 上千ＴＢ的数据节点上运行的应用程序． １．２　Ｓｐａｒｋ系统的优势 １　Ｓｐａｒｋ高性能计算系统 Ｓｐａｒｋ系统是ＵＣＢｅｒｋｅｌｅｙＡＭＰＬａｂ所开发并 １．１　传统Ｍａｐ－Ｒｅｄｕｃｅ计算框架 开源的一种通用的高性能并行计算框架，它相比 传统的Ｍａｐ－Ｒｅｄｕｃｅ框架［１］将一个任务的执 Ｈａｄｏｏｐ系统更具有优势［６－７］． 行过程划分为两个阶段，即 ｍａｐ阶段和ｒｅｄｕｃｅ阶 Ｓｐａｒｋ系统基于 Ｍａｐ－Ｒｅｄｕｃｅ算法实现分布 段．在ｍａｐ阶段，每个ｍａｐ任务读取一个ｂｌｏｃｋ，并 式计算，拥有Ｈａｄｏｏｐ系统所具有的优点；但不同于 调用 ｍａｐ函数进行处理，然后将结果写到本地磁 Ｈａｄｏｏｐ的是Ｊｏｂ中间输出和结果可以保存在内存 盘上；在 ｒｅｄｕｃｅ阶段，每个ｒｅｄｕｃｅ任务远程地从 中，从而不再需要读写ＨＤＦＳ，因此Ｓｐａｒｋ能更好地 ｍａｐ任务所在节点上获取相关数据，并调用ｒｅｄｕｃｅ 适用于数据挖掘与机器学习等需要迭代的Ｍａｐ－ 函数进行数据处理，最后将结果写入ＨＤＦＳ文件系 Ｒｅｄｕｃｅ的算法． 统．从以上过程可以看出，ｍａｐ阶段和ｒｅｄｕｃｅ阶段 Ｓｐａｒｋ系统是一种可扩展的数据分析平台，它 的结果均要写磁盘，这虽