【基于Python的微博热点爬取系统设计9100字】.pdfVIP

基于Python的微博热点爬取系统设计

目录

中文摘要1

英文摘要2

1概述3

1.1课题背景3

1.2网络爬虫的意义3

2爬虫技术背景4

2.1网络爬虫的概念4

2.2python爬虫技术背景4

2.2.1PycharmIDE4

2.2.2Requests库4

2.2.3BeautifulSoup库5

2.2.4Pool类进程池5

2.2.5Pymysql包5

2.3Robots协议5

2.3.1Robotst办议中既念5

2.3.2微博Robots协议5

2.4爬虫可行性分析6

2.4.1经济可行性6

242技术可行性6

2.4.3法律可行性6

2.5性能需求6

3功能流程分析7

3.1爬取微博实时热搜榜流程7

3.1.1微博实时热搜榜爬取流程7

3.1.2对抓取的新闻数据进行分析归类7

3.2爬取指定用户粉丝列表流程8

1

3.1.1对抓取的新闻数据进行分析归类8

3.1.2对关注列表中用户信息分类统计8

4数据库的分析和设计9

4.1数据库的概念结构设计9

4.2数据库的逻辑结构设计10

5微博爬虫功能的实现和设计10

5.1取实时微博热搜榜单10

5.1.1功能介绍10

5.1.2调用第三方库10

5.1.3取热搜榜页面11

5.1.4解析页面内容，提取有效信息11

5.1.5设置实时抓取12

5.1.创建并连接数据库13

5.1.7抓取数据展示14

5.2取指定用户的关注列表15

5.2.1功能介绍16

5.2.3取郑爽SZ用户的粉丝列表的user.id16

5.2.4解析页面内容17

5.2.5使用Fiddler抓包工具抓取自己登录后的cookie18

5.2.抓取粉丝列表用户信息18

5.2.7抓取数据展示19

6数据分析20

.1微博实时热搜榜单数据分析20

.1.1模块介绍21

.1.22021年4月29日热搜榜单部分截图21

.1.3对抓取的热搜榜单新闻进行分类统计21

.1.4数据分析22

.2郑爽粉丝列表用户信息数据分析24

.2.1郑爽粉丝性别分布分析25

.2.2郑爽粉丝地区分布分析25

7单元测试与集成测试27

2

7.1单元测试遵循原则27

7.2集成测试遵循原则28

8结论28

参考文献30

3

摘要：随着信息时代的到来，每个人的生活都充斥着智能手机，我们越来越离不开网

络；而随着我们各种网络行为的增多，大数据在收集我们网络用户的各种浏览行

为和消费行为方面发挥了越来越重要的作用。同时，也为各种商机和机会创造了

机会。在数据无限的时代，对热点的预测和分析已经广泛应用于商业和社会；随

着越来越多的数据被记录和整理，热点捕捉和数据分析必将成为互联网领域的关

键技术，网络爬虫技术在数据收集和分析中起着关键作用。网络爬虫技术具有广

泛的功能。它可以有针对性地收集指定网站下的特定信息，而不仅仅是将网站上

的所有信息爬下来。从近年来各种语言爬虫技术的发展来看，Python语言是最早

被使用的。作为一种动态脚本语言，Python语言相对简单，它可以用非常短的几

十行代码解决大多数数据解析，这是其他静态编程语言无法做到的。

关键词：网络爬虫；采集信息；热点抓取；数据分析；Python

1概述

1.1课题背景

在信息爆炸的今天，世界已经进入一个以计算为主的大数据时代。数据向我们展示

的是旧的信息，而我们通过充分利用数据，使它表达的是未来。人们让收集到的数据有

了“智能〃O通过数据收集和分析，可以将分散的数据联系在一起，从而可以直观地

了解事物的本质并预测未来。大数据在各行各业发挥着越来越多的作用。本文实现的基

于Python的微博热点抓取与数据分析体现了大数据在新闻媒体行业