计算机科学与技术-基于Python的网络爬虫设计与实现--论文.docx

PAGE

基于Python的网络爬虫设计与实现

摘要：从互联网时代开始，网络搜索引擎就变得越发重要。大数据时代，一般的网络搜索引擎不能满足用户的具体需求，人们更加注重特定信息的搜索效率，网络爬虫技术应运而生。本设计先对指定URL的网址相关网页进行分析，找出网页内目标信息所在的URL信息规律；然后选择BeautifulSoup模块或lxml的html模块编写函数分级爬取这些URL；最后将URL对应的网页中的信息归类保存到文本文件中。然后利用jieba模块基于TF-IDF指标对爬取的文本中的信息进行分析，再找出词频高的词，做进一步分析。基于Python实现网络爬虫程序，先对我校近几年新闻网页进行分析，找出新闻中的高频词，并绘制词云图；然后针对这次新型冠状病毒所造成的疫情，从腾讯新闻网中爬取疫情相关信息，同时根据相关信息绘制疫情分布图。两个爬虫实例表明本设计的可行性和有效性。

关键词：网络爬虫，互联网，校园，疫情

DesignandimplementationofwebcrawlerbasedonPython

Abstract：SincetheInternetera,Internetsearchengineshavebecomemoreandmoreessential.Inperiodofbigdata,commonnetworksearchenginescannotsatisfytheexactneedsofusers,Peopleattachimportancetothesearchefficiencyofspecificinformation,andwebcrawlertechnologyemergeasthetimesrequire.ThisdesignfirstanalyzestheURLrelatedwebpagesofthespecifiedURLtofindouttheURLinformationruleofthetargetinformationinthewebpage;thenselectthebeautifulsoupmoduleortheHTMLmoduleoflxmltowritethefunctiontocrawltheseURLshierarchically;finally,theinformationinthewebpagescorrespondingtotheURLisclassifiedandsavedinthetextfile.ThenusethejeebamoduletoanalyzetheinformationinthecrawledtextbasedonTFIDFindex,andthenfindoutthewordswithhighwordfrequencyforfurtheranalysis.BasedonPython,novelcoronavirusisfirstanalyzed.Wefindoutthehighfrequencywordsinthenewsanddrawthewordcloudmap.Then,inresponsetotheepidemicsituationcausedbynovelcoronavirus,thisdesigncrawledtheepidemicsituationrelatedinformationfromTencentNewsNetworkanddrewtheepidemicsituationdistributionmapaccordingtotherelatedinformation.Twocrawlerexamplesshowthefeasibilityandeffectivenessofthedesign.

Keywords：Crawler,Internet,campus,epidemicsituation

目录

TOC\o1-3\h\z\u第1章绪论 1

1.1研究背景和实际意义 1

1.2研究现状 1

1.3研究方法和内容 2

1.3.1研究方法 2

1.3.2研究内容 2

第2章基于Pytho