大数据爬虫技术第5章 数据解析.pptVIP

除了上述三个函数之外，还可以调用parse()函数从XML文件中直接解析。 html = etree.parse(./hello.html) result = etree.tostring(html, pretty_print=True) print(result) 在调用函数时，如果没有提供解析器，那么就使用默认的解析器，函数会返回一个ElementTree?类型的对象。 在ElementTree类或Elements类的API文档中，提供了三个常用的方法，可以满足大部分搜索和查询需求，并且这些方法的参数都是XPath语句。 find()方法：返回匹配到的第一个子元素； findall()方法：以列表的形式返回所有匹配的子元素。 iterfind()方法：返回一个所有匹配元素的迭代器。 还可以调用xpath()方法，使用元素作为上下文节点来评估XPath表达式。 示例 # 从字符串中解析XML，返回根节点 root = etree.XML(roota x=123aTextb/c/b//a/root) # 从根节点查找，返回匹配到的节点名称 print(root.find(a).tag) # 从根节点开始查找，返回匹配到的第一个节点的名称 print(root.findall(.//a[@x])[0].tag) 我们使用一个HTML示例文件做为素材来介绍lxml库的基本使用，该文件名为hello.html，内容如下： !-- hello.html -- div ul li class=item-0a href=link1.htmlfirst item/a/li li class=item-1a href=link2.htmlsecond item/a/li li class=item-inactivea href=link3.htmlspan class=boldthird item/span/a/li li class=item-1a href=link4.htmlfourth item/a/li li class=item-0a href=link5.htmlfifth item/a/li /ul /div 看一下是否有三级标题 （1）可以直接使用“//”从任意位置选取节点li，路径表达式如下： //li （2）在上个表达式的末尾，使用“/”向下选取节点，并使用“@”选取class属性节点，表达式如下： //li/@class （3）从任意位置开始选取倒数第二个li标签，再向下选取标签a。如果要获取该标签中的文本，可以使用如下表达式： //li[last()-1]/a //li[last()-1]/a]/text() 或 01 了解网页数据和结构 02 数据解析技术 03 正则表达式 04 XPath与lxml解析库 05 Beautiful Soup 06 JSONPath与json模块 思考 什么是Beautiful Soup？ 官网推荐现在的项目使用BeautifulSoup （BeautifulSoup 4版本，简称为bs4）开发。bs4是一个HTML/XML的解析器，主要的功能是解析和提取HTML/XML数据。 结 论 bs4不仅支持CSS选择器，而且支持Python标准库中的HTML解析器，以及lxml的XML解析器。 通过使用这些转化器，实现了惯用的文档导航和查找方式，节省了大量的工作时间，提高了开发项目的效率。 bs4库将复杂的HTML文档转换成树结构（HTML DOM），这个结构中的每个节点都是一个Python对象，这些对象可以归纳为如下四种： 类 说明 bs4.element.Tag 表示HTML中的标签，最基本的信息组织单元。 bs4.element.NavigableString 表示HTML中标签的文本（非属性字符串） bs4.BeautifulSoup 表示HTML DOM中的全部内容，支持遍历文档树和搜索文档树的大部分方法。 bs4.element.Comment 表示标签内字符串的注释部分，是一种特殊的NavigableString对象。 第1步 根据HTML或者XML文件创建BeautifulSoup对象。 第2步 根据DOM树进行各种节点的搜索，只要获得了一个节点，就可以访问节点的名称、属性和文本。 第3步 在搜索节点的时候，我们也可以按照节点的名称、节点的属性或者节点的文字进行搜索。 使用bs4的一般流程如下： 使用bs4的一般流程 def __init__(self, markup=, features=None, bu