Python网络爬虫基础教程 第4章 解析网页数据.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 多学一招 loads()和load()函数都可以将JSON格式的数据转换为Python对象，JSON数据类型向Python对象类型转换的对照表如下所示。 json模块 JSON数据类型 说明 Python对象类型 说明 object 对象 dict 字典 array 数组 list 列表 string 字符串 str 字符串 number（int） 数字型 int 整型 number（real） 数字型 float 浮点型 true 布尔型 True 布尔型 false 布尔型 False 布尔型 null 空 None 空 多学一招 loads()和load()函数作用相同，都可以实现反序列化操作，但两者的用法有着一些区别，loads()函数需要接收字符串形式的JSON数据，而load()函数需要接收文件形式的JSON数据。 json模块 import json # 将JSON对象转换为Python字典 result_dict = json.loads({city: 北京, name: 小明}) print(result_dict) result_dict = json.load(open(dict_str.json)) print(result_dict) 多学一招 dumps()和dump()函数都可以将Python类型的对象转换为JSON格式的数据，Python对象类型向JSON数据类型转换的对照表如下所示。 json模块 Python对象类型 说明 JSON数据类型 说明 dict 字典 object 对象 list，tuple 列表，元组 array 数组 str 字符串 string 字符串 int，float 整型，浮点型 number 数字型 True 布尔型 true 布尔型 False 布尔型 false 布尔型 None 空 null 空 多学一招 dumps()和dump()函数的用法类似loads()和load()函数，接下来，通过一个示例演示dumps()和dump()函数的用法，具体代码如下所示。 json模块 import json # 将Python字典转换为JSON对象 demo_dict = {city: 北京, name: 小明} print(json.dumps(demo_dict)) # 将Python字典转换为JSON对象，并写入到dict_str.json文件中 json.dump(demo_dict, open(dict_str.json,w)) 多学一招 从上页的输出结果可以看出，中文字符并没有正常显示，之所以出现这种情况是因为dumps()函数默认会以ASCII编码的方式处理中文字符，若希望能正常显示中文字符，可以在调用dumps()函数是传入ensure_ascii=False，以禁用ASCII编码。修改后的代码如下所示。 json模块 print(json.dumps(demo_dict, ensure_ascii=False)) {city: 北京, name: 小明} 运行代码，结果如下所示。 实践项目：采集黑马程序员论坛的帖子 4.6 掌握采集黑马程序员论坛网的帖子，能够通过Xpath定位元素并采集 学习目标 4.6 采集黑马程序员论坛的帖子 在第3章中，我们开发了一个简单的项目，从黑马程序员论坛网上抓取了Python+人工智能技术交流版块网页的所有数据。本节将在第3章开发的项目基础上增加解析网页数据的功能，运用XPath技术从网页数据中提取帖子的详细信息。 项目需求 4.6 采集黑马程序员论坛的帖子 在浏览器中打开python技术交流论坛页面，该页面中显示了几十个帖子，每个帖子都以相同的布局方式显示了详细的信息，包括文章标题、发布时间、文章作者。 项目目标 文章标题、文章链接、 文章作者和发布时 间为采集的数据 4.6 采集黑马程序员论坛的帖子 此时单击每个文章的标题，会看到新窗口中展示的文章正文。例如，单击Python+人工智能技术交流版块页面中的“通过爬虫获取失踪儿童信息”，会在浏览器的新窗口中打开文章正文的页面。 项目目标 窗口顶部的地址栏中显示了文章链接 4.6 采集黑马程序员论坛的帖子 （1）在浏览器中按F12键，发现