基于图挖掘的社交网络可视化研究-计算机软件与理论专业论文.docxVIP

武汉理工大学硕士学位论文 武汉理工大学硕士学位论文 万方数据 万方数据 摘 要 随着微博等社交网络的快速兴起，社交网络的研究成为了一个热点课题， 如何更加充分的利用现代网络工具快速发掘网络中信息是一个重要的方向。基 于图挖掘的网络中节点聚类一直以来都是大规模网络数据分析中重要的研究课 题之一，众多研究者在网络社区的发现方面已经取得不少研究成果，但仍然存 在许多问题有待解决：算法的效率不高、很少关注重叠的社区结构、不能排除 噪音干扰等。信息可视化技术的发展为人们理解网络结构数据并进行有效的挖 掘提供了很有效的途径，但对于大规模社交网络传统的可视化布局并不能清晰 的展示。 针对这些问题，本文以 Spark 为平台，利用图挖掘，对社区网络展开了社区 发现及可视化的研究，具体内容如下： （1）设计基于网络边图的社区发现算法及其并行化。针对 GN 算法不能发 现重叠社区和其复杂度较高的问题，将网络图转换为边图，用边图中节点的相 似度替代 GN 算法中的边介数，改进 GN 算法，并且利用 MapReduce 模型，对 该算法进行并行化处理，提高其执行效率。 （2）提出了基于用户影响力的社区发现算法及其并行化方案。针对基于局 部模块度的社区发现算法[26]不稳定问题，借鉴 PageRank 算法思想，研究社交网 络中用户影响力，将影响力大的用户作为初始社区节点，使得社区划分结果稳 定且更为准确，并研究了基于用户影响力的社区发现算法的并行化方法。 （3）设计基于 MapReduce 的力导向布局算法。分析串行的力导向布局算法， 结合 Spark 内存计算框架，实现了该算法的并行化，加快网络布局。 （4）提出了一种基于社区结构的社交网络可视化方法，该方法将社区结构 与力导向布局算法进行结合，改进力导向布局算法，在每个社区进行单独布局， 最终得到整个网络的布局，使之可以用于规模较大的社交网络可视化布局。 本文的创新点： 将用户影响力与局部社区发现算法结合，提出基于用户影响力的社区发现 算法，避免了局部社区发现算法的不稳定性，提高了其划分社区的准确性。 关键字： 社交网络；图挖掘；社区发现；力导向布局；可视化；内存计算 I Abstract With the rise of microblogging and social network rapidly, the research of social network has become a hot topic, how to make full use of modern network tools to find the information in the network quickly is an important direction. Based on the graph mining ,the clustering of node in network has been one of the important research topic in large-scale network, researchers in the community discovery has made a lot of achievements, but there are still many problems to be solved: the algorithms efficiency is not so high, very little attention to overlapping community structure, cannot eliminate noise interference. The development of information visualization technology provides a very effective means to let people understand the structure of the network and mining effectively, but for the traditional large-scale social network visualization layout is not clear. Aiming at these problems, this thesis takes Spark as the platform, using the graph mining, launched a study of community discovery and visualization of social networks, the specific contents are as follo