教案 Ch2.数据采集.pptVIP

标注 字体使用 行距 背景图片出处 声明 英文 Microsoft YaHei 中文 微软雅黑 正文 1.3 本网站所提供的任何信息内容（包括但不限于 PPT 模板、Word 文档、Excel 图表、图片素材等）均受《中华人民共和国著作权法》、《信息网络传播权保护条例》及其他适用的法律法规的保护，未经权利人书面明确授权，信息内容的任何部分(包括图片或图表)不得被全部或部分的复制、传播、销售，否则将承担法律责任。 OfficePLUS 背景图片素材 OfficePLUS 点击Logo获取更多优质模板（放映模式） 数据采集 第2章 数据采集 Add Text 点击此处添加标题 从抓取开始 正则表达式 BeautifulSoup XPath与lxml 遍历页面 使用API 目录 数据采集 正则表达式：处理字符串 1. 从抓取开始 数据采集 XPath表达式 1. 从抓取开始 数据采集 BeautifulSoup CSS选择器 1. 从抓取开始 数据采集 CSS 描述HTML文档的样式语言，规定HTML元素的显示方式 1. 从抓取开始 body?{??background-color:?lightblue;}h1?{??color:?white;??text-align:?center;}p?{? font-family:?verdana;??font-size:?20px;} 数据采集 lxml 是C语言中libxml2和libxslt两个库的Python化版本 HTML解析速度更快 1. 从抓取开始 数据采集 Python的re库 pile(string[,flag]) re.match(pattern, string[, flags]) re.search(pattern, string[, flags]) re.split(pattern, string[, maxsplit]) re.findall(pattern, string[, flags]) re.finditer(pattern, string[, flags]) re.sub(pattern, repl, string[, count]) re.subn(pattern, repl, string[, count]) 2. 正则表达式 import ress = 'I love you, do you?'res = re.match(r'((\w)+(\W))+',ss)print(res.group()) 数据采集 Python中处理正则表达式的模块不止re一个，非内置模块的regex是更为强大的正则工具（可以使用pip安装来体验） 下图为一个用正则表达式来匹配电子邮件地址的例子 2. 正则表达式 数据采集 pip install bs4 使用PyCharm IDE 安装 指定parser bs1 = BeautifulSoup(ht.content,'html.parser') bs1 = BeautifulSoup(ht.content,'lxml') find()和find_all()方法 3. BeautifulSoup 数据采集 使用PyCharm IDE 安装的过程： 3. BeautifulSoup 数据采集 XPath，XML Path Language（XML 路径语言） 元素、属性、文本、命名空间、处理指令、注释以及文档，都是XML中的“节点” 4. XPath与lxml 表达式 对应查询 Node1 选取Node1下的所有节点 /node1 斜杠代表到某元素的绝对路径 ，此处即选择根上的Node1 //node1 选取所有“node1”元素，不考虑XML中的位置 node1/node2 选取node1子节点中的所有node2 node1//node2 选取node1所有后辈节点中的所有node2 . 选取当前节点 .. 选取当前的父节点 //@href 选取XML中的所有href属性 数据采集 什么是XML？ 一种标记语言 XML设计用来传送及携带数据信息，不用来表现或展示数据，HTML则用来表现数据，所以XML用途的焦点是它说明数据是什么，以及携带数据信息 是对HTML的补充，用来与HTML协同工作的语言 4. XPath与lxml 数据采集 谓语与通配符 4. XPath与lxml /cinema/movie[1] 选取cinema的 子元素中的第一个 movie元素 /cinema/movie[last()] 同上，但选取最后一个 /cinema/movie[position()<5] 选 cinema 元素的子元素中的前4个 book