浅析SocialNetwork和GraphMining的应用和机器学习技术.docxVIP

浅析Social Network和Graph Mining的应用和机器学习技术 一吴斌 224227 【摘要】随着移动互联网的到来，UCG (用户产生内容)的不断发展，社交网 络(Social Network)已经不断普及并深入人心，用户可以随时随地在网络上分 享内容，由此产生了海量的用户数据，面对大数据时代的来临，复杂多变的Social Network数据是有很多实用价值有待挖掘的。本文通过对专家协作和主题的关系 发现系统 HYPERLINK / /和其相关的论文材料进行分析，讨论Social Network和Graph Mining相关的机器学习技术，为基于关系图谱的Social Network 数据挖掘和应用提供一些思路。 随着Facebook, Twitter,新浪微博,Linkedln等社交媒体网站的流彳亍，对Social Network的数据挖掘是近几年的一个技术热点，而Social Network中的用户与用 户，用户与主题，用户与活动的关系网络就是一种图结构的海量数据，所以Social Network的分析中一个主要方向就是针对关系图的Graph Mining□而针对Social Network和Graph Mining,传统计算机技术面临很多挑战，比如，图节点和边的 数据已经达到数十亿的数据级别，海量图数据的分析计算和检索比较困难。而且, 图数据结构是很复杂的，基于图结构的数据构建算法模型复杂度很高，比如，构 建Social Network影响力传播的动态传播模型是很复杂的。还有，海量数据处理， 势必带来并行化处理的要求，而图数据的关联性大，图数据分割复杂，导致基于 图数据的分析算法并行化难度很大。而对这些挑战和困难，学术界已经有一些研 究和实验，以下介绍的arnetminer系统的算法介绍，可以为基于图数据的Social Network和Graph Mining工作提供一些方法和思路。 先来看一下，什么是图数据挖掘？图是一种很重要的数据结构，关于图数据 的数据挖掘有很多方向和应用领域，简介如下: relati on ships -Internet / computer networks Vertices: computers/routers Edges: communication links -WWW Vertices: webpages Edges: hyperlinks -Chemical molecules Vertices: atoms Edges: chem Bonds 一 Social networks (Facebook, Orkut, Linkedln) Vertices: pers ons Edges: friendship -Citation/co-authorship network 一 Disease transmission -Tran sport n etwork (airline/rail/shippi ng) 一 Many more... 纯理论的图数据挖掘中一个热点是频繁子图的数据挖掘(Frequent Subgraph Mining),即从图数据集合中寻找出现次数不少于最小支持度的子图。这个领域 屮有很多算法，AMG, FSG, FFSM, gSpan, SUBDUE, GBI, SIGMAR, GREW 木文分析的是面向Social Network的图数据挖掘，主要关注的是社群发现 (Community Detection),专家发现和排名(Ranking),结构洞分析(Structure Hole),影响力分析(Influence Analysis),社交关系(Social Tie),还有多种 不同类型网络的数据集成等问题。 首先，讨论一下Social Network数据挖掘的应用方式： 1, 基于Social Network的意见传播，动态网络影响力传播分析。举个例 子：华为发布P6手机后，需要做媒体宣传推广，假设领导给定100万 预算，需要利用新浪微博做P6手机推广，那么市场人员最关心的问题 就是，预计每个新浪博主的宣传费是1万元 怎么用这100万预算，在 新浪微博上把P6手机的推广做的效果最好？具体化描述就是：基于新 浪微博数据的用户Social Network中，需要找到Topic是“手机”相关 的100个人(节点)，这100个节点的影响力传播范围最大。这就是Social Network分析的典型应用乞一，需要分析相关主题图结构数据屮的“意 见领袖”，“结构洞”(即跨越不同社群子网络的桥接节点)，“动 态网络影响力传播模型”等问题。类似的影响力传播图示： Adoption Diffusion of Y! Go Yahoo! Go is a product