基于scrapy框架的腾讯招聘信息网络爬虫设计与实现.docVIP

PAGE

PAGE3

基于scrapy框架的腾讯招聘信息网络爬虫设计与实现

摘要：随着网络科技技术的快速增长，网络数据已经成为一种极其重要的资源。如今的一个研究热点是如何快速和有效率地寻找、提取、分析数据。对于这些方法，运用Python的Scrapy框架可以设计出网络爬虫，对网络数据进行提取分析。先分析网站源代码，之后设计出相应的表达式来提取需要用到的数据，提取结束之后将数据保存进数据库里。

本课题是一个基于scrapy分布式爬虫针对腾讯招聘网站数据的抓取系统，为数据进一步操作做数据支持。设计系统使用Python的Scrapy框架，根据网页分析得到json数据包，然后使用json.load（）对下载的网页数据转化为python数据再提取，依靠Redis数据库实现分布式的功能，将数据存储进mysql数据库里，设计以及完成了针对腾讯招聘职位信息的分布式网络爬虫。

关键词：爬虫，scrapy框架，腾讯招聘

TheDesignandImplementationofWebsiteCrawleroftheTencentRecruitmentInformationwhichBasiconScrapyDistributed

Abstract：Withtherapidgrowthofinformationtechnology,networkdatahasbecomemoreandmoreimportantresource.Nowadays,aresearchhotspotishowtosearch,extractandanalyzedataquicklyandefficiently.Forthesemethods,atpresent,wecanusescrapyframeworktodesignwebcrawlertooperatedata.Atfirst,itintroducestheapplicationofscrapyinpython,thenanalyzesthetargetwebsite,designsthecorrespondingexpressiontoextracttherequireddata,andfinallysavesthedatatoafiletorealizethestoragepersistence.

Basedonscrapydistributedofwebsitedatawhattencentrecruitmentscrapingsystem,forthefurtherapplicationofdatathatisjobsearchandrecommendationsystemtododatasupport.Theprojectisadistributedcrawlerbasedonscrapyinpython,accordingtowebpageanalysis,json.load（）isusedtoconvertthedownloadedwebpagedataintopythondataforextraction.ThesystemuseRedisdatabasefordistributionandusemysqldatabasefordatastorage,itwasdesignedandimplementedadistributedcrawlersystemfortencent‘srecruitmentandjobdata.

Keywords：Crawler,Scrapy,Tencentrecruitment

PAGE27

目录

TOC\o1-3\h\z\u第1章绪论 1

1.1研究背景和意义 1

1.1.1选题的目的及意义 1

1.1.2国内外发展状况 1

1.2研究的基本内容与拟解决的主要问题 1

1.3研究的方法与技术路线 2

1.3.1研究方法 2

1.3.2研究手段 2

第2章基于python的网络爬虫 4

2.1python语言简介 4

2.2网络爬虫 4

2.2.1网络爬虫的定义 4

2.2.2网络爬虫的基本流程 5

2.3scrapy框架 5

2.3.1