《数据采集技术》课件——数据解析技术.pptxVIP

数据解析技术

Contents知识目标掌握基本的数据解析技术技能目标提高数据采集和处理能力素养目标培养良好的信息素养和道德意识

了解网页的结构使用浏览器打开百度首页，“新闻”右击选择“检查”，浏览器侧面打开一个窗口，并显示选中元素周围的HTML层次结构。位于id属性值为‘s-top-left’的标签div选中的标签a

使用浏览器打开百度首页，“新闻”右击选择“检查”，浏览器侧面打开一个窗口，并显示选中元素周围的HTML层次结构。与其它标签a属于并列关系了解网页的结构选中的标签a

利用网页解析技术提取信息需要的数据新URL列表网页解析器网页源码字符串可以利用网页解析器技术，从网页中提取出有价值的资料或者新的URL列表。网页解析的示意图如下图所示：

WWW.解析为易于处理和理解的格式网页解析数据处理信息抽取知识挖掘目的是为了方便后续的：

网页解析需要处理HTML、XML等语言格式内容包括步骤：标签解析属性提取数据过滤…

网页解析需要处理HTML、XML等语言格式内容包括步骤：标签解析属性提取数据过滤…最常见

网页解析重要的预处理步骤为后续的数据处理和分析提供了基础。

网页解析Python支持正则表达式、XPath、BeautifulSoup和JSONPath等常用数据解析技术。序号数据解析技术主要作用1正则表达式针对文本的解析工具2XPath、BeautifulSoup、正则表达式针对HTML/XML的解析3JSONPath针对JSON的解析使用到一些编程语言和工具库

思考正则表达式、XPath、BeautifulSoup和JSONPath，这几种技术有什么区别呢？？

常用数据解析技术的区别正则表达式一种强大的文本处理工具，可以用来匹配、搜索、替换或拆分复杂的文本模式。简单理解就是记录文本规则的代码。用户名域名+

常用数据解析技术的区别正则表达式示例：#正则表达式模式，用于匹配电子邮件地址pattern=r^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$一种强大的文本处理工具，可以用来匹配、搜索、替换或拆分复杂的文本模式。简单理解就是记录文本规则的代码。

常用数据解析技术的区别XPath和BeautifulSoup基于HTML/XML文档的层次结构来确定到达指定节点的路径，所以更适合处理层级比较明显的数据。示例2：!DOCTYPEhtmlhtmlheadmetacharset=UTF-8title我的网页/title/headbodyh1欢迎来到我的网页！/h1p这是一个简单的HTML文件示例。/p/body/html

常用数据解析技术的区别JSONPath专门用于JSON文档的数据解析。示例3：{name:张三,age:30,email:zhangsan@,address:{street:123MainSt,city:北京,Country:中国,postalCode:10001}}

常用数据解析技术的区别JSONPath专门用于JSON文档的数据解析。示例3：{name:张三,age:30,email:zhangsan@,address:{street:123MainSt,city:北京,Country:中国,postalCode:10001}}

常用数据解析技术的区别JSONPath专门用于JSON文档的数据解析。

常用数据解析技术的区别对于不同的网页解析技术Python分别提供了不同的模块或者库来支持：序号数据解析技术对应安装库名字安装命令1正则表达式re模块Python的标准库，通常随着Python的安装而自动安装。不需要单独安装它。2XPathlxml库pipinstalllxml3JSONPathjson模块Python的标准库，用于处理JSON数据。同样，不需要单独安装它。4BeautifulSoupPython库pipinstallbeautifulsoup4

1数据解析技术介绍2正则表达式、XPath、BeautifulSoup和JSONPath等技术区别3XPath、BeautifulSoup模块的安装本讲小结

课后作业现实开发中该如何选择数据解析技术？

思政意识提升提高思想觉悟提升政治素养强化政治担当更好地把握时代脉搏和人民心声。更好地服务于党