Python爬虫BeautifulSoup04课件讲解.pptxVIP

Python爬虫

BeautifulSoup

目eautifulSoup概念BeautifulSoup解析器准备工作基本使用

—Python的一个HTML或XML的解析库，我们可以用它来方便地从网页中提取数据，即借助网页的结构和属性等特性来解析网页（工具箱）—自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码，不需要考虑编码方式，除非文档没有指定一个编码方式，仅仅需要说明一下原始编码方式就可以了。BeautifulSoup

—BeautifulSoup在解析时实际上依赖解析器，它除了支持Python标准库中的HTML解析器外，还支持一些第三方解析器（比如lxml）解析器BeautifulSoup支持的解析器推荐使用，lxml解析器：速度快，容错能力强

1、正确安装BeautifulSoup库pip3installbeautifulsoup42、正确安装好了lxml库(参考XPath章节)准备工作

实例基本使用未闭合初始化把要解析的字符串以标准的缩进格式输出输出HTML中title节点的文本内容解析器的类型完成不完整的HTML自动格式更正

一、节点选择器—直接调用节点的名称就可以选择节点元素，再调用string属性就可以得到节点内的文本了，这种选择方式速度非常快。如果单个节点结构层次非常清晰，可以选用这种方式来解析。—实例演示：选择节点—输出结果①title节点加里面的文字内容②类型：③string属性④head节点加其内部的所有内容⑤p节点注：当有多个节点时，这种选择方式只会选择到第一个匹配的节点，其他的后面节点都会忽略。基本使用bs4.element.Tag类型BeautifulSoup中一个重要的数据结构得到节点的文本内容

二、提取信息1、获取名称—利用name属性可以获取节点的名称2、获取属性—调用attrs获取所有属性方法一：方法二：直接在节点元素后面加中括号，传入属性名注：返回结果：字符串（值唯一）字符串组成的列表（值不唯一）基本使用

3、获取内容—利用string属性获取节点元素包含的文本内容4、嵌套选择—Tag类型对象同样可以继续调用节点进行下一步的选择—实例演示：嵌套选择注：在Tag类型的基础上再次选择得到的依然还是Tag类型基本使用第一个P节点

三、关联选择—先选中某一个节点元素，然后以它为基准再选择它的子节点、父节点、兄弟节点等1、基于属性选择1）子节点和子孙节点情况1：选取节点元素之后，想要获取它的直接子节点调用contents属性结果：列表形式（contents属性得到的结果是直接子节点的列表）基本使用

情况2：调用children属性来选择，返回结果是生成器类型情况3：要得到所有的子孙节点的话，可以调用descendants属性结果：生成器（descendants会递归查询所有子节点，得到所有的子孙节点）基本使用

2）父节点和祖先节点情况1：获取某节点的直接父节点情况2：获取所有的祖先节点基本使用

3）兄弟节点（同级节点）四个属性：next_siblingprevious_siblingnext_siblingsprevious_siblings基本使用获取节点的下一个兄弟节点获取节点的上一个兄弟节点返回后面的所有兄弟节点返回前面的所有兄弟节点

4）提取信息单个节点：直接调用string、attrs等属性获得其文本和属性多个节点的生成器：转为列表后取出某个元素，然后再调用string、attrs等属性获取其对应节点的文本和属性基本使用

2、方法选择器1）find_all—查询所有符合条件的元素AP