社交网络数据挖掘.doc

中图分类号： TP274 学校代码：10252 学 号：092400354 上海理工大学硕士学位论文 基于社会网络的数据挖掘方法研究 姓 名 陆晓野 系 别 光电信息与计算机工程学院 专 业 计算机应用技术 研究方向 数据挖掘 指导教师 陈玮 副教授 学位论文完成日期 2011年12月 University of Shanghai for Science and Technology Master Dissertation Data Mining Method Based on Social Networks Name Lu Xiaoye Department School of Optical-Electrical and Computer Engineering Specialty Computer Application Technology Research Direction Data Mining Supervisor Associate Professor Chen Wei Complete Date December 2011 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学位论文保留并向国家有关部门或机构送交论文的复印件和电子版。允许论文被查阅和借阅。本人授权上海理工大学可以将本学位论文的全部内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 学位论文作者签名： 指导教师签名： 年 月 日 年 月 日 声 明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下,独立进行研究工作所取得的成果。除文中已注明引用的内容外，本论文不包含任何其他个人或集体已经公开发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本声明的法律责任由本人承担。 学位论文作者签名： 年 月 日 摘 要 现实生活中存在着各式各样的社会网络，例如，人际关系网、万维网、博客、论坛、MSN、Facebook以及生态食物链网等。社会网络是由一群个体和个体之间的各种关系组成的集合，其中这些关系包括朋友关系、亲戚关系、上下级关系、师生关系以及网友关系等。对大型社会网络进行研究，从中挖掘出一些有价值的信息或模式，具有广泛的应用价值。其一，社会网络提供了许多新的交际方式，可以通过互联网进行交友、交流、分享信息、找工作等；其二，社会网络给各个领域带来了许多机遇与挑战，利用社会网络分析技术可以进行市场营销，预防计算机病毒的传播，预测恐怖袭击，粉碎犯罪集团以及进行疫苗接种等。 本文主要针对社区发现算法和关键节点挖掘算法展开研究与讨论，所有的工作都是基于这两方面来进行。介绍了社会网络分析技术，例如，中心性分析和社区分析等。介绍了数据挖掘常用的聚类算法，经典的社区发现算法以及关键节点挖掘算法，分析它们的性能、优缺点和适用范围等。当今社会网络规模都很庞大，如果直接基于整个网络进行关键节点挖掘，其效率非常低下，没有应用价值，因此本文结合社会网络的特性，创新性地提出了一种新的解决方案——基于社区进行关键节点挖掘，该方案首先对整个网络进行社区发现，然后基于社区进行关键节点挖掘，再对所有社区的关键节点求并集，得到整个网络的关键节点。由于社会网络规模庞大且具有明显的社区结构，因此可以进行社区挖掘并且可以求得一个近似解。经实验验证，对于规模庞大且具有明显社区结构的社会网络，采用本文提出的解决方案进行挖掘是可行的，虽然准确度略有下降（在可接受的范围内），但运行效率却得到了显著地提高。 在对社区进行关键节点挖掘方面，本文提出了一种动态的关键节点挖掘算法——贪婪挖掘算法。与静态挖掘算法相比，该算法在挖掘的每一步动态地确定关键节点，而不是从按影响度降序排序的节点中静态地选择前k个节点作为关键节点。经实验验证，贪婪挖掘算法与静态挖掘算法都能快速收敛，并且运行效率都差不多，但是贪婪挖掘算法挖掘的总影响度要明显高于静态挖掘算法。因此，在本文解决方案的关键节点挖掘部分，采用贪婪挖掘算法进行挖掘。 关键词：社会网络 社区发现 关键节点 数据挖掘 ABSTRACT In daily life, there are a great variety of social networks, such as, interpersonal relationship, the World Wide Web, forums, MSN, Fac