Python数据工程师实战案例教程3数据存储.pptxVIP

Python数据存储全解析

目录CONTENTS02JSON文件存储03CSV文件存储01TXT文本文件存储

TXT文本文件存储01Part

TXT文本文件存储是一种将爬虫抓取的数据保存为TXT文本文件的方式，其操作极为简单，几乎所有平台都能兼容TXT文件，且不依赖复杂的配置环境，在数据存储领域中是一种基础且常见的方式。然而，TXT文本文件存储存在明显的局限性，它不利于数据的检索。当数据量较大时，想要快速找到特定信息会变得困难。若对数据检索或数据结构要求不高，更追求存储的便捷性，那么TXT文本文件存储不失为一个不错的选择。简介

案例背景与目标以教育部政府门户网站（/jyb_xwfb/xw_zt/moe_357/s7865/s8417/）为例，爬取2024年1月至4月3日习近平总书记关于教育的重要论述，并将这些宝贵的数据存储为TXT文件格式。代码实现与解析导入必要的库，requests库用于发送HTTP请求，获取网页内容，pyquery库用于解析网页数据。

python

importrequests

frompyqueryimportPyQueryaspq

发送HTTP请求获取网页内容，并进行状态码检查。若状态码为200，说明请求成功，可继续后续操作；否则，打印请求失败信息。

此代码通过requests.get(url)获取网页内容，用pq(response.content)解析网页，利用doc(.showingdl).items()定位新闻内容，再通过循环提取时间、标题和正文，并写入TXT文件。利用Python保存TXT文件文本的实例

在Python中，open方法用于打开文件，第一个参数是要保存的目标文件名称，明确文件的存储位置和命名。

第二个参数代表数据以何种方式写入文本，不同的写入方式有不同的效果，如w表示每次写入文本时都会清空源文件，然后将新内容写入文件，适用于重新写入全新数据的场景。

第三个参数指定了文件的编码，常见的编码格式如utf-8，能确保文件内容的正确显示和存储，避免乱码问题。各参数含义详细打开方式列表0102文件打开方式

01在Python中，文件写入还有一种更简洁、安全的写法，即withas语句。该语句能确保文件在使用后被正确地关闭，即便在写入过程中发生错误，也能保证文件资源的正确释放，有效避免了因忘记关闭文件而可能导致的资源泄露问题。withas语句的优势02以之前爬取教育部网站新闻并保存为TXT文件为例，展示普通写法与withas语句写法的对比。

可以看出，withas语句写法更简洁，无需显式调用close()方法关闭文件，代码的可读性和可维护性更高。代码示例对比简化写法（withas语句）

POWERPOINTDESIGNJSON文件存储02Part

JSON（JavaScriptObjectNotation）是一种轻量级的数据交换格式，它以简洁、清晰的文本形式来表示数据对象，易于人类阅读和编写，同时也便于机器解析和生成。

JSON文件的结构基于键值对，数据以一种有序、结构化的方式组织，这使得它在存储和传输结构化数据时表现出色，成为了在不同系统和应用之间交换数据的常用格式。JSON定义与特点JSON文件通常用于存储从网页API获取的数据，当我们从网络上获取到各种结构化的信息，如用户信息、商品数据等，使用JSON格式进行存储，能方便后续的数据处理和分析。

在前后端数据交互中，JSON也是一种主流的数据传输格式，前端页面可以轻松地解析和使用从后端接收到的JSON数据，而后端也能方便地生成和返回JSON格式的数据。适用场景简介

导入json包在Python中，要读取或写入JSON文件，首先需要导入json包，它是Python标准库中专门用于处理JSON数据的模块，提供了丰富的函数和方法来进行JSON数据的编码和解码操作。01json.loads()函数json.loads()函数用于从字符串中读取和解析JSON数据。当我们已经获取了一个包含JSON数据的字符串，并且希望将其转换为Python对象，以便在Python程序中进行操作时，就可以使用这个函数。

示例代码如下：

上述代码中，首先定义了一个包含JSON数据的字符串str，通过print(type(str))查看其类型为字符串。然后使用json.loads(str)将字符串解析为Python对象（这里是一个列表），并赋值给data变量，最后通过print(type(data))确认data的类型为列表。02json.load()函数json.load()函数用于从文件对象中读取和解析JSON数据。当我们有一个包含JSON数据的文件，想要将其内容解析为Python对象时，就需要使用这个函数。

在调用json.load