社交网络数据采集算法的设计软件工程课程设计报告.docx

软件工程课程设计 社交网络数据收集算法的设计 组号第21组组长姓名：盖云东学号：130104010049组员姓名：任志成学号：130104010121组员姓名：马剑楠学号：130104010004组员姓名：陈海涛学号：130104010045 摘要 随着互联网的发展，人们正处于一个信息爆炸的时代。社交网络数据信息量大、主题性强,具有巨大的数据挖掘价值,是互联网大数据的重要组成部分。一些社交平台如Twitter、新浪微博、人人网等,允许用户申请平台数据的采集权限,并提供了相应的API 接口采集数据,通过注册社交平台、申请API授权、调用API 方法等流程获取社交信息数据。但社交平台采集权限的申请比较严格,申请成功后对于数据的采集也有限制。因此,本文采用网络爬虫的方式,利用社交账户模拟登录社交平台,访问社交平台的网页信息,并在爬虫任务执行完毕后,及时返回任务执行结果。相比于过去的信息匮乏，面对现阶段海量的信息数据，对信息的筛选和过滤成为了衡量一个系统好坏的重要指标。本文运用了爬虫和协同过滤算法对网络社交数据进行收集。 关键词：软件工程；社交网络；爬虫；协同过滤算法 目录 TOC \o 1-3 \h \z \u   HYPERLINK \l _Toc455325061 摘要  PAGEREF _Toc455325061 \h - 2 -  HYPERLINK \l _Toc455325062 目录  PAGEREF _Toc455325062 \h - 3 -  HYPERLINK \l _Toc455325063 课题研究的目的  PAGEREF _Toc455325063 \h - 1 -  HYPERLINK \l _Toc455325064 1.1 课题研究背景  PAGEREF _Toc455325064 \h - 1 -  HYPERLINK \l _Toc455325065 2 优先抓取策略Rank  PAGEREF _Toc455325065 \h - 2 -  HYPERLINK \l _Toc455325066 2.1 PageRank简介  PAGEREF _Toc455325066 \h - 2 -  HYPERLINK \l _Toc455325067 2.2 PageRank流程  PAGEREF _Toc455325067 \h - 2 -  HYPERLINK \l _Toc455325068 3 爬虫  PAGEREF _Toc455325068 \h - 4 -  HYPERLINK \l _Toc455325069 3.1 爬虫介绍  PAGEREF _Toc455325069 \h - 4 -  HYPERLINK \l _Toc455325070 3.1.1爬虫简介  PAGEREF _Toc455325070 \h - 4 -  HYPERLINK \l _Toc455325071 3.1.2 工作流程  PAGEREF _Toc455325071 \h - 4 -  HYPERLINK \l _Toc455325072 3.1.3 抓取策略介绍  PAGEREF _Toc455325072 \h - 5 -  HYPERLINK \l _Toc455325073 3.2 工具介绍  PAGEREF _Toc455325073 \h - 6 -  HYPERLINK \l _Toc455325074 3.2.1 Eclipse  PAGEREF _Toc455325074 \h - 7 -  HYPERLINK \l _Toc455325075 3.2.2 Python语言  PAGEREF _Toc455325075 \h - 7 -  HYPERLINK \l _Toc455325076 3.2.3 BeautifulSoup  PAGEREF _Toc455325076 \h - 7 -  HYPERLINK \l _Toc455325077 3.3 实现  PAGEREF _Toc455325077 \h - 8 -  HYPERLINK \l _Toc455325078 3.4 运行结果  PAGEREF _Toc455325078 \h - 9 -  HYPERLINK \l _Toc455325079 4 算法部分  PAGEREF _Toc455325079 \h - 10 -  HYPERLINK \l