基于数据挖掘的社交网络分析与研究.docVIP

基于数据挖掘的社交网络分析与研究 摘要：在计算机网络越来越普及的社会中造就信息传播的便利性提高，也让社交网络渐渐发展成为虚拟社群形态，从早期的电子布告栏（BBS）到现在的社交网站（SocialNetworkSites），都可以让人们密切讨论与互动。本文将主要探讨基于数据挖掘模型的社交网络关联预测分析，并对相关技术进行阐述。 关键词：数据挖掘;社交网络;关联预测 在社交网络上，依据先前国外学者Viswanath，Mislove，ChaandGummadi和NguyenandTran都是针对theNewOrleans地区社群使用者发布数据来研究使用者发布的关系，而台湾地区针对使用者社群发布的分析多以问卷方法居多，故本研究欲使用直接抓取页面数据与卷标的方法，观察使用者社群网站上发布行为，利用先前用学者所提数据呈现方式，结合关键词标记方式来了解使用者在社群网络上的发布关系。而其中社群人数拓展最快速就是微信平台，利用了社交网络的特性让使用者能更有效率的在网络上找到有关系的亲朋好友，将这世界的每个人、每个群体透过各种关系快速的串连起来[1]。 1数据挖掘模型的概述 当要对HDFS读写数据时，档案将被切割成小的64MBBlock，NameNode将告知每个DataNode，切割后的block是存放在哪，DataNode将负责做本地端档案的block数据对应，并且同时DataNode将对其他DataNode进行数据复制备份的动作。Hadoop系统的容错率和可扩充性来自于DataNode，当DataNode出错意外关机，其它节点上的数据将依然存在，且当需动态增删系统的运算量，只需增加DataNode节点或停止DataNode运作。在进行社群资料收集与前处理之前，要先了解一下信息撷取与信息过滤的不同之处。在社群网站上随机寻找开放目录上的使用者，而后进行下载该使用者发布数据的动作是谓信息撷取；而将使用者涂鸦墙上大笔数据写进本地端的HDFS系统后，并通过预先设定的一些筛选条件式和过滤方法，剔除杂乱的数据，变成对本研究有用的信息，以利后续卷标计算与关键词计算，这个过程就叫信息过滤[2]。 2基于数据挖掘模型的社交网络关联预测分析 关键词分析部份则是针对个人涂鸦墙页面和使用者自订信息页面进行关键词标记，其关键词来源是使用者自订信息页面上含的运动、音乐、书籍、电影、电视、游戏、宗教、政治八组关键词。相关度计算是利用本研究所提相关度公式来进行个人涂鸦墙页面、使用者自订信息页面和模拟页面间的关联运算，利用页面间所含的关键词，计算出仿真页面与使用页面间的相关度。并在相关度计算阶段把社群发布分析与关键词分析的结果做个交叉分析。之后对此分析结果进行研究评估。使用者自订信息页面有让使用者自己标记自己兴趣的分类项目，分为大四大类自订选项，其自订选项下，包含子项目让使用者自订标记自己的兴趣，而该表的使用者自订分类项目就是本研究挑选关键词的依据，本研究挑选运动、音乐、书籍、电影、电视、游戏、宗教、政治这八个字作为关键词标记投掷的项目，在此就不考虑同义不同字、字面背后意涵等问题，只考虑第一层的字义[3]。 3社交网络关联预测的相关技术与应用 社交网络分析一直以来都是个热门的话题，所有团体成员彼此之间社交关系的集合就是这个团体的社交网络，而透过社交网络分析可以了解团体成员之间的互动，这分析可应用在各种与人有关的领域上。在学校里，学生之间小团体的组成及班级中领导人物与被孤立者的存在，一直都是教育者相当关心的部份。在团体精神治疗中，成员之间的交流情况是分析治疗成果的指标之一。在网络社群中，了解使用者群体之间的互动可以帮助厂商开发更人性化的网络产品。人格特质分析也是个热门的话题，每个人的行为都有一套固定的行为模式，而分析这行为模式就是所谓的人格特质分析，这分析也可应用在各种与人有关的领域上。在学校里，不同类型的学生需要不同方式的教育。在公司面试上，公司透过分析应征者的人格模式来录取所需要的人才[4]。然而，一般心理学使用的社交网络分析与人格特质分析都是透过纸笔测验，使用大量的人力去取得人际互动的信息，考虑团体成员间友好的互动关系，并使用方向性的连结来表达人们之间的互动关系。目前使用计算机视觉技术的社交网络分析系统，仅考虑人们同时出现频率当作亲密程度的指针，而且使用无方向性的连结来表示人们之间的互动关系。因此，我们使用拥有计算机视觉技术的多摄影机系统，透过分析人们之间的互动行为，互动行为包含互动的对象、所表达的肢体语言与情绪信息，根据分析所有的互动得到团体内所有成员之间的社交态度，而这就是这团体的社交网络。除了友好的互动关系之外，我们还考虑了厌恶的互动关系，并且使用方向性的连结来表达人们之间的互