网络爬虫获取数据大数据技术BIGDATA94课件讲解.pptxVIP

数据预处理技术网络爬虫获取数据大数据技术BIGDATA

掌握网络爬虫的具体过程掌握常见的数据存储方式

网络爬虫获取数据

爬取百度LOGO动态网页指的是采用动态网页技术的页面，比如AJAX、ASP、JSP等技术，不需要重新加载整个页面内容，就可以实现网页的局部更新。静态网页是标准的HTML文件，通过GET请求方法可以直接获取，文件的扩展名是.html、.htm等，网页中可以包含文本、图像、声音、FLASH动画、客户端脚本和其他插件程序等。

网络爬虫获取数据

爬取百度LOGOurllib库属于Python的标准库模块，无须单独安装，同时它也是Python爬虫的常用模块。urllib库，是Python内置的urllib库，用于获取网页的html信息，urllib库包含的模块如下表表示。模块说明urllib.request打开和读取URLurllib.error包含urllib.request抛出的异常urllib.parse解析URLurllib.robotparser解析robots.txt文件

网络爬虫获取数据

爬取百度LOGO注意：requests模块无须单独安装，每次调用requests请求之后，会返回一个response对象，该对象包含了具体的响应信息。requests库，是Python内置的模块，主要是用来发送HTTP请求。优点：requests模块比urllib模块更简洁。importrequests#导入requests包x=requests.get(/)#发送请求print(x.text)#返回网页内容

网络爬虫获取数据

爬取百度LOGO在CMD命令行验证是否安装成功。若引入模块，不返回错误则说明安装成功。lxml库提供了一个etree模块，该模块专门用来解析HTML/XML文档。lxml是Python的第三方解析库，完全使用Python语言编写，它对Xpath表达式提供了良好的支持，因此能够高效地解析HTML/XML文档。pipinstalllxml#pip安装importlxml#引入模块

网络爬虫获取数据

爬取百度LOGOfind_all()与find()是解析HTML文档的常用方法，它们可以在HTML文档中按照一定的条件（相当于过滤器）查找所需内容。BS4BeautifulSoup简称BS4（其中4表示版本号）是一个Python第三方库，它可以从HTML或XML文档中快速地提取指定的数据。pipinstallbs4#pip安装bs4pipinstalllxml#pip安装lxml解析库importlxml#引入模块

网络爬虫获取数据

爬取百度LOGO程序爬取结果例2-1爬取百度首页logo，并保存在本地，名称为“logo.png”。#导入相应库fromurllib.requestimporturlopenfrombs4importBeautifulSoupasbffromurllib.requestimporturlretrieve#获取所有图片信息，包含了所有图片的属性html=urlopen(/)obj=bf(html.read(),html.parser)title=obj.head.titlepic_info=obj.find_all(img)#获取logo图片的链接地址logo_pic_info=obj.find_all(img,class_=index-logo-src)logo_url=http:+logo_pic_info[0][src]print(百度LOGO：,logo_url)urlretrieve(logo_url,logo.png)#下载图片百度LOGO：/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png

爬取百度LOGO掌握常见的数据存储方式

谢谢