社交网络数据采集算法设计(软件工程课程设计报告).docxVIP

软件工程课程设计 社交网络数据收集算法的设计 组号 第21组 组长 姓名：盖云东 学号：130104010049 组员 姓名：任志成 学号：130104010121 组员 姓名：马剑楠 学号：130104010004 组员 姓名：陈海涛 学号：130104010045 摘要 随着互联网的发展，人们正处于一个信息爆炸的时代。社交网络数据信息量大、主题性强,具有巨大的数据挖掘价值,是互联网大数据的重要组成部分。一些社交平台如Twitter、新浪微博、人人网等,允许用户申请平台数据的采集权限,并提供了相应的API 接口采集数据,通过注册社交平台、申请API授权、调用API 方法等流程获取社交信息数据。但社交平台采集权限的申请比较严格,申请成功后对于数据的采集也有限制。因此,本文采用网络爬虫的方式,利用社交账户模拟登录社交平台,访问社交平台的网页信息,并在爬虫任务执行完毕后,及时返回任务执行结果。相比于过去的信息匮乏，面对现阶段海量的信息数据，对信息的筛选和过滤成为了衡量一个系统好坏的重要指标。本文运用了爬虫和协同过滤算法对网络社交数据进行收集。 关键词：软件工程；社交网络；爬虫；协同过滤算法 目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc455325061 摘要 PAGEREF _Toc455325061 \h - 2 - HYPERLINK \l _Toc455325062 目录 PAGEREF _Toc455325062 \h - 3 - HYPERLINK \l _Toc455325063 课题研究的目的 PAGEREF _Toc455325063 \h - 1 - HYPERLINK \l _Toc455325064 1.1 课题研究背景 PAGEREF _Toc455325064 \h - 1 - HYPERLINK \l _Toc455325065 2 优先抓取策略Rank PAGEREF _Toc455325065 \h - 2 - HYPERLINK \l _Toc455325066 2.1 PageRank简介 PAGEREF _Toc455325066 \h - 2 - HYPERLINK \l _Toc455325067 2.2 PageRank流程 PAGEREF _Toc455325067 \h - 2 - HYPERLINK \l _Toc455325068 3 爬虫 PAGEREF _Toc455325068 \h - 4 - HYPERLINK \l _Toc455325069 3.1 爬虫介绍 PAGEREF _Toc455325069 \h - 4 - HYPERLINK \l _Toc455325070 3.1.1爬虫简介 PAGEREF _Toc455325070 \h - 4 - HYPERLINK \l _Toc455325071 3.1.2 工作流程 PAGEREF _Toc455325071 \h - 4 - HYPERLINK \l _Toc455325072 3.1.3 抓取策略介绍 PAGEREF _Toc455325072 \h - 5 - HYPERLINK \l _Toc455325073 3.2 工具介绍 PAGEREF _Toc455325073 \h - 6 - HYPERLINK \l _Toc455325074 3.2.1 Eclipse PAGEREF _Toc455325074 \h - 7 - HYPERLINK \l _Toc455325075 3.2.2 Python语言 PAGEREF _Toc455325075 \h - 7 - HYPERLINK \l _Toc455325076 3.2.3 BeautifulSoup PAGEREF _Toc455325076 \h - 7 - HYPERLINK \l _Toc455325077 3.3 实现 PAGEREF _Toc455325077 \h - 8 - HYPERLINK \l _Toc455325078 3.4 运行结果 PAGEREF _Toc455325078 \h - 9 - HYPERLINK \l _Toc455325079 4 算法部分 PAGEREF _Toc455325079 \h - 10 - HYPERLINK \l _Toc455325080 4.1获取数据的三种途径 PAGEREF _Toc455325080 \h - 10 - HYPERLINK \l _Toc455325081 4.1.1通过新浪微博模拟登录获取数据 PAGEREF _Toc4