大数据分析与挖掘实验教程 课件全套 第1--9章 数据预处理--- 主题模型.pdf

大数据分析与挖掘实验教程 2 0 2 3 ——数据预处理 配套教材 ： 《大数据分析与挖掘实验教程》 实 验 目 的 理解数据预处理的 掌握常用的数据预 奠定数据分析 概念和重要性 处理方法 实践基础 01 数据清洗 02 数据集成 CONT ENT 03 数据变换 实验 内容 04 数据规约 05 Python数据预处理工具 “ 数 据 清 洗 01 数 据 清 洗 数据清洗是数据预处理的第一步 ，其 目的是检测和纠正数据中存在的错误、缺 失值、异常值和重复数据等问题 ，以提高数据的质量和可用性。主要步骤包括 ： Ø 检测数据中的错误和缺失值 ，如数据类型错误、数据格式错误、数据范围错误、 空值等 ，可以使用Python中的Pandas库进行数据清洗 ； Ø 检测数据中的异常值 ，如数据偏离正常范围、数据异常分布等 ，可以使用数据可 视化工具和统计方法进行检测和纠正 ； Ø 检测数据中的重复数据 ，如重复记录、重复属性等 ，可以使用Python中的 Pandas库进行数据去重。 数 据 清 洗 代 码 实 例 1 读取数据文件 使用Pandas库中的read_csv()函数读取iris.csv 数据文件。 2 处理缺失值、重复值、空值等 info()函数检查数据中的缺失值和数据类型 ； drop_duplicates()函数删除重复数据 ； describe()函数检查数据中的异常值和数据范围； isnull()函数检查数据中的空值 ； fillna()函数进行填充空值 ； replace()函数将数据中的文本类型属性转换为