详解种类型的爬虫技术.docxVIP

详解4品种型的爬虫技术 Python爬虫与数据挖掘 1970-01-01 以下文章来源于大数据DT ，作者赵国生 王健 HYPERLINK 大数据DT . 供应大数据、AI等领域干货学习资源的「宝藏号」，跟50万技术人共同成长，一起玩转大数据、Python、数据分析、数据科学、人工智能！还会有各种好玩又奇葩的数据解读，边学习边吃瓜！ 点击上方“Python爬虫与数据挖掘”，进行关注 回复“书籍”即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 两情若是久长时，又岂在野朝暮暮。 导读：网络爬虫是一种很好的自动采集数据的通用手段。本文将会对爬虫的类型进行引见。 作者：赵国生 王健 来源：大数据DT（ID：hzdashuju） 聚焦网络爬虫是“面对特定主题需求”的一种爬虫程序，而通用网络爬虫则是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分，次要目的是将互联网上的网页下载到本地，构成一个互联网内容的镜像备份。 增量抓取意即针对某个站点的数据进行抓取，当网站的新增数据或者该站点的数据发生变化后，自动地抓取它新增的或者变化后的数据。 Web页面按存在方式可以分为表层网页（surface Web）和深层网页（deep Web，也称invisible Web pages或hidden Web）。 表层网页是指传统搜索引擎可以索引的页面，即以超链接可以到达的静态网页为主来构成的Web页面。 深层网页是那些大部分内容不能通过静态链接猎取的、隐蔽在搜索表单后的，只要用户提交一些关键词才能获得的Web页面。 01 聚焦爬虫技术 聚焦网络爬虫（focused crawler）也就是主题网络爬虫。聚焦爬虫技术添加了链接评价和内容评价模块，其爬行策略实现要点就是评价页面内容以及链接的重要性。 基于链接评价的爬行策略，次要是以Web页面作为半结构化文档，其中拥有很多结构信息可用于评价链接重要性。还有一个是利用Web结构来评价链接价值的方法，也就是HITS法，其通过计算每个访问页面的Authority权重和Hub权重来打算链接访问挨次。 而基于内容评价的爬行策略，次要是将与文本相像的计算法加以应用，提出Fish-Search算法，把用户输入查询词当作主题，在算法的进一步改进下，通过Shark-Search算法就能利用空间向量模型来计算页面和主题相关度大小。 面对主题爬虫，面对需求爬虫：会针对某种特定的内容去爬取信息，而且会保证信息和需求尽可能相关。一个简约的聚焦爬虫使用方法的示例如下所示。 【例1】一个简约的爬取图片的聚焦爬虫 import?urllib.request????#?爬虫公用的包urllib，不同版本的Python需要下载不同的爬虫公用包import?re????#?正则用来规律爬取keyname=????#?想要爬取的内容key=urllib.request.quote(keyname)????#?需要将你输入的keyname解码，从而让计算机读懂for?i?in?range(0,5):???#?(0,5)数字可以本人设置，是淘宝某产品的页数????url=/search?q=+key+imgfile=js=1stats_click=search_radio_all%3A1initiative_id=staobaoze=utf8bcoffset=0ntoffset=6p4ppushleft=1%2C48s=+str(i*44)#?url后面加上你想爬取的网站名，然后你需要多开几个类似的网站以找到其规章#?data是你爬取到的网站全部的内容要解码要读取内容????pat=pic_url://(.*?)#?pat使用正则表达式从网页爬取图片#?将你爬取到的内容放在一个列表里面????print(picturelist)????#?可以不打印，也可以打印下来看看????for?j?in?range(0,len(picturelist)):????????picture=picturelist[j]????????pictureurl=http://+picture????????#?将列表里的内容遍历出来，并加上http://转到高清图片????????file=E:/pycharm/vscode文件/图片/+str(i)+str(j)+.jpg????????#?再把图片逐张编号，不然反复的名字将会被掩盖掉????????urllib.request.urlretrieve(pictureurl,filename=file)????????#?最终保存到文件夹 02 通用爬虫技术 通用爬虫技术（general purpose