基于Python的TK电影网站数据采集与分析.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具1

1.2.1Pycharm1

1.2.2Python2

1.2.3Scrapy2

1.2.4Pandas2

1.2.5kettle2

1.2.6Pyecharts2

1.2.7Mysql2

1.3技术架构3

2需求分析4

2.1可行性需求分析4

2.2采集目标功能分析4

2.3关键技术分析5

2.3.1网络爬虫技术5

2.3.2文件存取技术6

2.3.3可视化技术6

3数据采集7

3.1采集页面分析7

3.2字段分析7

3.3编程实现8

4数据清洗模块11

4.1检查和处理数据空值11

4.2检查和处理无用值13

4.3进行数据的排序15

4.4进行数据的字段选择15

I

湖南商务职业技术学院毕业设计

4.5进行数据的数据库存储16

5数据统计与分析17

5.1对电影语言进行统计结果17

5.2评分最多的电影统计结果18

5.3.电影类型的统计结果19

5.4反应演员名称的词云图21

5.5电影年份统计结果22

5.6对电影上映最多年份的统计24

5.7综述25

6小结26

参考文献28

II

湖南商务职业技术学院毕业设计

基于Python的TK电影网站数据采集与分析

1引言

1.1项目背景

随着21世纪的到来,社会进入到信息化时代,传媒、文娱经济得到了高速的

增长,特别是伴随着互联网的普及,我们可以做到人在家中坐便知天下事,人们的

生活逐渐从单一向丰富转变,其中就包括文娱活动中的电影观看,全球的电影能

在授权的电影院播放,越来越多的人们在有自己喜欢的电影时,纷纷带着家人、朋

友,前来电影馆观影,享受着电影带来的震撼快乐感.在观看的同时学习着不同地

区,不同国家的文化,实现文化的交融.本项目以TK电影网站上的电影数据为列,

从海量电影网站上的数据,提取一部分有价值的用以分析,了解不同的电影,不同

的人们的评价,从而了解到人们的真正需求,已达到精准的定位需要。

1.2开发环境与工具

此电影网站的数据爬取运用了scrapy框架,数据清洗运用了kettle,分析和

可视化运用了可视化工具组件,并用到了pandas数据包,可视化运用了

Matplotlib、pyecharts绘图工具来进行完成。运用的开发环境如下表2-1所示。

环境版本

PycharmPyCharmCommunityEdition2019.1.2x64

PythonPython3.8.1

ScrapyScrapy2.1.0

Pandas、PyMysqlPandas1