基于豆瓣网电影数据的分析与可视化.pdf

毕业论文

基于豆瓣网电影数据的分析与可视化

AnalysisandvisualizationofmoviedatabasedonDouban

website

摘要

随着我国互联网行业和数字电影行业的不断飞速发展，两者之间的合作联系

越来越紧密。还陆续出现了许多基于互联网上的视频播放网站。用户想要在这些

视频播放网站上找到自己喜欢的电影是一件很不容易的事，为了给用户的选择提

供一个有用的参考，在庞大的网络电影库中快速找到自己真正喜欢的网络电影，

本次课题从电影信息和短评信息两方面入手设计了豆瓣电影数据可视化系统。为

了更好地对国内电影网站数据进行分析，本课题首先利用Python+Scrapy建立一

套爬虫系统，收集豆瓣网的相关数据，通过Mysql数据库把获取到的电影名、电

影导演、电影评分、电影类型、评论用户等数据进行持久化，为整个可视化系统

提供了广泛而可靠的数据支持。最后使用Python提供的第三方库Matplotlib、Pands

和Excel数据可视化工具进行数据清洗和以图形的形式直观地展示数据结果，并

多角度分析电影的发展，得出相关结论。

关键词：Scrapy；Python；第三方库；数据可视化；电影

Abstract

WiththerapiddevelopmentofChinasInternetindustryanddigitalfilmindustry,

thecooperationbetweenthetwoismoreandmoreclose.Therearealsomany

Internet-basedvideoplaybackwebsites.Userswanttofindtheirfavoritemovieon

thesevideoplaybacksiteisaverynoteasything,inordertogivetheuserchoiceto

provideausefulreference,inthehugenetworkmovielibraryquicklyfindtheirreally

likenetworkmovie,thesubjectfromthemovieinformationandshortreview

informationdesignthedoubanmoviedatavisualizationsystem.Inordertobetter

analyzethedomesticfilmwebsitedata,thistopicfirstusePython+Scrapyto

establishacrawlersystem,collectrelevantdataofdouban,throughMysqldatabaseto

obtainthemoviename,moviedirector,movierating,movietype,anduserdatafor

persistent,providesextensiveandreliabledatasupportforthewholevisualization

system.Finally,thethird-partylibraryMatplotlib,PandsandExceldatavisualization

toolsprovidedbyPythonwereusedtocleanthedataandintuitivelydisplaythedata

resultsingraphicalform,andthedevelo