Python文件和数据格式化数据清洗与转换.pptxVIP

Python文件和数据格式化数据清洗与转换汇报人：XX2024-01-12

Python文件读写操作数据格式化基础数据清洗技术数据转换方法实战案例：Python在数据清洗与转换中的应用

Python文件读写操作01

打开文件使用`open()`函数打开文件，指定文件名和打开模式（如读取模式`r`，写入模式`w`，追加模式`a`等）。关闭文件使用`close()`方法关闭文件。在文件操作完成后，应该总是关闭文件以释放资源。打开与关闭文件

123使用`read()`方法一次性读取整个文件内容。读取整个文件使用`readlines()`方法或循环遍历文件对象逐行读取文件内容。逐行读取文件使用`read(size)`方法读取指定数量的字符。读取指定字符读取文件内容

写入文件内容写入字符串使用`write()`方法将字符串写入文件。写入多行数据使用`writelines()`方法将字符串列表或迭代器中的多行数据写入文件。

获取当前工作目录使用`os.getcwd()`函数获取当前工作目录。拼接文件路径使用`os.path.join()`函数拼接文件路径，确保路径的正确性。获取文件绝对路径使用`os.path.abspath()`函数获取文件的绝对路径。分割文件路径使用`os.path.split()`函数分割文件路径，获取目录名和文件名。文件路径处理

数据格式化基础02

使用`%`操作符通过`%s`、`%d`等占位符，将变量值插入到字符串中。使用`str.format()`方法通过`{}`占位符和`format()`方法，将变量值替换到字符串中，支持位置参数和关键字参数。使用f-string在Python3.6及以上版本中，可以使用f-string（格式化字符串字面值）来嵌入表达式，语法为`f{expression}`。字符串格式化

03使用`math`模块Python的`math`模块提供了许多用于数值计算的函数，如取整、四舍五入等。01使用`format()`方法通过指定格式化字符串，如`{:,.2f}`，可以将数值格式化为带有千位分隔符和两位小数的浮点数。02使用`%`操作符类似于字符串格式化，可以使用`%`操作符和格式化字符串来格式化数值。数值格式化

格式化日期和时间通过`strftime()`方法将日期和时间对象格式化为字符串，使用特定的格式代码来表示年、月、日、时、分、秒等。解析日期和时间通过`strptime()`方法将格式化的日期和时间字符串解析为日期和时间对象。使用`datetime`模块Python的`datetime`模块提供了日期和时间类，以及相应的格式化和解析方法。日期和时间格式化

使用lambda表达式对于简单的格式化需求，可以使用lambda表达式来定义匿名的格式化函数。继承内置类型通过继承Python的内置类型（如整数、浮点数、字符串等），可以自定义新的类型并为其添加特定的格式化方法。定义格式化函数根据需要，可以自定义格式化函数来处理特定类型的数据或满足特定的格式要求。自定义格式化

数据清洗技术03

对于包含缺失值的数据，可以通过删除缺失值所在行或列的方式进行处理。这种方法简单直接，但可能会丢失一些有用信息。使用某种策略对缺失值进行填充，如使用均值、中位数、众数等统计量进行填充，或使用机器学习算法进行预测填充。缺失值处理填充缺失值删除缺失值

对于明显偏离正常范围的异常值，可以通过删除异常值所在行或列的方式进行处理。这种方法可以避免异常值对数据分析结果的干扰。删除异常值使用某种策略对异常值进行替换，如使用中位数、均值等统计量进行替换，或使用机器学习算法进行预测替换。替换异常值异常值处理

删除重复值对于完全重复的数据行或列，可以通过删除重复值的方式进行处理。这种方法可以简化数据结构，减少数据冗余。保留唯一值只保留数据中的唯一值，删除其他重复的值。这种方法可以进一步减少数据冗余，提高数据处理效率。重复值处理

数据类型转换将文本型数据转换为数值型数据，以便进行数学运算和统计分析。可以使用Python中的内置函数如`int()`、`float()`等进行转换。数据类型转换为文本型将数值型数据转换为文本型数据，以便进行文本处理和可视化展示。可以使用Python中的内置函数如`str()`等进行转换。数据类型转换为日期型将文本型或数值型数据转换为日期型数据，以便进行时间序列分析和可视化展示。可以使用Python中的`datetime`模块进行转换。数据类型转换为数值型

数据转换方法04

ASCII编码转换01将文本数据转换为ASCII编码，便于在不同系统和平台之间进行传输和处理。Unicode编码转换02支持全球各种语言的字符集，可将不同语言的文本数据转换为统一的Unicode编码。UTF-8编码转换03一种针对Un