20091004054_叶浚源_微博垂直领域的数据挖掘.doc

题 目 微博垂直领域的数据挖掘 姓 名 叶浚源 学 号 20091004054 所在学院 思科信息学院 年级专业 2009级计算机科学与技术 指导教师 蒋盛益 职称 教授 完成时间 2013 年 4 月 20 日 综合评定成绩： 指导教师评语（可另附A4纸）： 评定成绩： 指导教师签名： 日期： 答辩小组意见（可另附A4纸）： 评定成绩： 答辩小组长签名： 日期： 微博垂直领域的数据挖掘 ——以广东外语外贸大学用户群为研究对象 叶浚源 思科信息学院 2009级 计算机科学与技术 摘 要：近年来，微博已发展成为网上最热门的应用之一。到目前为止，国内最热门的新浪微博已拥有几亿注册用户。大量用户的涌入使微博形成了各种垂直细分领域，譬如某种职业的用户，某个学校的学生等。为了更好地了解微博，除了对其进行整体的研究外，对特定垂直领域进行研究同样具有现实意义与挑战性。本文以新浪微博上广东外语外贸大学相关用户群为研究对象，通过定向数据采集，获取相关用户信息与关系链。计算用户PeopleRank值，基于统计发现用户群热门标签以及使用Gephi进行网络可视化，展示了该垂直领域内用户群的基本情况。 关键词：微博；垂直领域；数据采集；PeopleRank；网络可视化 Data mining in Micro-blog vertical specific users group based on the users in Guangdong University of Foreign Studies Ye Jun Yuan Cisco School of Informatics Abstract: In recent years, micro-blog gradually becomes one of the most popular online applications. Nowadays, there are hundreds of millions users gathering in the most popular Sina Micro-blog. With the growth of the number of users, such like a group of students in the same school or a group of people with same occupation, kinds of specific users groups formed. Therefore, for a better research in Micro-blog, to pay attention in these vertical fields is also significant and challenging. In this paper, I’m focused on users who related Guangdong University of Foreign Studies in Sina Micro-blog. Via data collection, I get some users’ personal information and their friendships. Then I calculate their PeopleRank, count for the group’s hot tags and use Gephi to visualize the network. As a result, it shows the vertical specific users group’s basic overview. Key words: Micro-blog; Vertical Specific Users Group; Data collection; PeopleRank; Network visualization 目 录 摘 要 I Abstract II 1 绪论 1 1.1 微博概述 1 1.2 当前国内微博研究的现状 1 1.3 本课题研究的目的及意义 2 1.4 本课题工作简介 2 2 工作总体设计 3 2.1 系统设计框架图 3 2.2 工作模块简介 3 3 定向微博数据采集 5 3.1 采集数据的类型 5 3.2 数据存储 6 3.3 两种采集方式 11 3.4 采集模块的设计与实现 18 3.5 数据采集成