人工智能基础 网络爬虫 网络爬虫.pptxVIP

本章导读;学习目标;12.1 概述 12.2 数据抓取 12.3 数据解析 12.4 典型案例;12.1 概 述;网络爬虫（Web Spider）又称网络蜘蛛或网络机器人，是一段用来实现自动采集网站数据的程序。 网络爬虫不仅能够为搜索引擎采集网络信息，而且还可以作为定向信息采集器，定向采集某些网站中的特定信息。 对于定向信息的爬取，网络爬虫主要采取数据抓取、数据解析、数据入库的操作流程。;Python提供了许多与网络爬虫相关的库。其中，在数据抓取方面requests；在数据解析方面包括re（正则表达式），beautifulsoup4。;12.2 数据抓取;requests库提供了很多功能特性，几乎涵盖了所有Web服务的需求，包括URL获取、HTTP长连接和连接缓存、HTTP会话、浏览器式的SSL验证、身份认证、Cookie会话、文件分块上传、流下载、HTTP(S)代理功能、连接超时处理等。 由于requests库是第三方库，因此，需要通过pip3指令进行安装，pip3安装命令如下：;网络爬虫工作流程的第一步是数据的抓取，也就是使用requests库实现发送HTTP请求和获取HTTP响应的内容。;调用get()函数是获取网页最常用的方式，在调用requests.get()函数后，返回的网页内容会保存为一个Response对象。;有时我们需要在URL中传递参数。;2．获取HTTP响应的内容;除了属性，Response对象还提供了两个常用的方法： （1）json()方法：如果HTTP响应内容包含JSON格式数据，则该方法解析JSON数据。 ;（2）raise_for_status()方法：该方法能在非成功响应后产生异常，即只要返回的请求状态status_code不是200，该方法就会产生一个异常，可用try-except异常处理结果进行处理。;;12.3 数据解析;1．正则表达式基础;具体应用时，可以单独使用某种类型的元字符，但处理复杂字符串时，经常需要将多个正则表达式元字符进行组合。下面给出了几个示例。 （1）[a-zA-Z0-9]可以匹配一个任意大小写字母或数字。 （2）^(\w){6,15}$匹配长度为6～15的字符串，可以包含数字、字母和下划线。 （3）^\w+@(\w+\.)+\w+$检查给定字符串是否为合法电子邮件地址。 （4）\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}$检查给定字符串是否为合法IP地址。;2．re模块;;;;;;;beautifulsoup4库也称为Beautiful Soup库或bs4库，用于解析和处理HTML和XML文件，其最大优点是能够根据HTML和XML语法建立解析树，进而提高解析效率。;由于beautifulsoup4库是第三方库，因此，需要通过pip3指令进行安装，pip3安装命令如下：;创建的BeautifulSoup对象是一个树形结构，它包含HTML页面中的标签元素，如head、body等。也就是说，HTML中的主要结构都变成了BeautifulSoup对象的一个属性，可通过“对象名.属性名”形式获取属性值。;每一个标签在beautifulsoup4库中又是一个对象，称为Tag对象。;当需要列出对应标签的所有内容或找到非第一个标签时，可以使用BeautifulSoup对象的find_all()方法。该方法会遍历整个HTML文件，按照条件返回标签内容（列表类型）。其语法格式如下：;;;;12.4 典型案例;;;;;;感谢您的观看