python课件教案13_数据提取之xpath.pptxVIP

数据提取之xpath

情景引入掌握了正则表达式以及jsonpath数据提取的方法之后为什么要学习xpath呢？

循序善诱jsonpath提取的是浏览器数据交互时传输的json数据文件中的数据

循序善诱正则表达式则是在网页源码中去匹配出所需要的数据内容。

循序善诱xpath是如何提取数据的呢？它提取的又是什么样的数据？今天，我们就来认识一种新的数据提取方法

目录认识xpath与xml结构xpath语法xpath的节点关系

认识xpath与xml结构

新知教授?XPath，全称XMLPathLanguage，即XML路径语言，它是一门在XML文档中查找信息的语言。最初是用来搜寻XML文档的，但同样适用于HTML文档的搜索。所以在做爬虫时完全可以使用XPath做相应的信息抽取。

新知教授XML，可扩展标记语言，标准通用标记语言的子集，是一种用于标记电子文件使其具有结构性的标记语言。

思维构建

xpath的节点关系

思维构建bookstore

bookcategory=COOKING

titlelang=enEverydayItalian/title

authorGiadaDeLaurentiis/author

year2005/year

price30.00/price

/book

bookcategory=CHILDREN

titlelang=enHarryPotter/title

authorJK.Rowling/author

year2005/year

price29.99/price

/book

bookcategory=WEB

titlelang=enLearningXML/title

authorErikT.Ray/author

year2003/year

price39.95/price

/book

/bookstorexml的树结构

思维构建

思维构建每个XML的标签我们都称之为节点，其中最顶层的节点称为根节点。

思维构建

编玩边学xpath中节点选择的工具Chrome插件XPathHelper在解压后的课程文件夹中找到该压缩文件，并解压

编玩边学打开chrome浏览器进入到扩展程序界面123

把解压后的文件夹拖入到已经开启开发者模式的chrome浏览器扩展程序界面重启浏览器编玩边学

xpath语法

新知教授XPath使用路径表达式来选取XML文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。使用chrome插件选择标签时候，选中时，选中的标签会添加属性class=xh-highlight在Chrome浏览器中使用xpath插件

编玩边学最有用的表达式：

常用路径表达式以及表达式的结果：编玩边学

实践演练练习——豆瓣电影top250/top250选择所有的h1下的文本//h1/text()获取所有的a标签的href//a/@href获取html下的head下的title的文本/html/head/title/text()获取html下的head下的link标签的href/html/head/link/@hrefxpath基础语法练习

循序善诱但是当我们需要选择所有的电影名称的时候会特别费力通过下一小节的学习，就能够解决这个问题快跟着老师一起继续学习吧！

注意点:在xpath中，第一个元素的位置是1，最后一个元素的位置是last()，倒数第二个是last()-1查找特定的节点编玩边学

实践演练从豆瓣电影top250的页面中：选择所有的电影的名称href评分评价人数豆瓣电影top250/top250

实践演练从豆瓣电影top250的页面中：选择所有的电影的名称： //div[@class=hd]//span[@class=title][1]href：//li//div[@class=pic]//a/@href评分： //span[@class=rating_num]评价人数： //div[@class=star]/span[4]答案不唯一哟~

选取未知节点XPath通配符可用来选取未知的XML元素。编玩边学

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：实例编玩边学

选取若干路径通过在路径表达式中使用“|”运算符，您可以选取若干个路径。编玩边学

课堂总结xpath的概述XPath(XMLPathLanguage),解析查找提取信息的语言xml是和服务器交互的数据格式和json的作用一致html是浏览器解析标签数据显示给用户xpath的节点关系:根节点,子节点,父节点,兄弟节点,子节点,后代节点xpat