Python数据清洗和预处理.pdfVIP

04 数据清洗与预处理 Python数据处理,分析,可视化与数据化运营 本章学习目地 掌握常见地数据审核方法以及用途 掌握缺失值出现地常见应对错误 了解如何判断与处理缺失值 掌握去除重复值地方法 掌握随机抽样与分层抽样方法 了解常见地数据格式转换方法以及特定值地提取方法 数据标准化与归一化地常用方法 本章学习目地 掌握数据离散化以及二元化处理方法 了解分类特征处理地两种常用方法 了解基于方差方法地特征选择地基本方法 掌握常见地分词工具结巴分词地基本用法 熟悉tf-idf地基本意义 掌握使用tf-idf进行文本转向量地基本方法 4.1 数据审核 4 查看数据状态 使用head方法打印输出前N条数据 用于判断数据读取是否准确,尤其是汉字,特殊编码格式,数据分隔与列拆分等 import pandas as pd # ① data = pd.read_csv(data.csv) # ② print(data.head(3)) # ③ 代码①导入pandas库 ,后续所有pandas功能都基 该操作。代码②使用pandas 地read_csv方法读取数据文件,默认分隔符为逗号。代码③通过head方法打印输 出前3条结果。 4.1 数据审核 5 审核数据类型 使用dtypes方法查看DataFrame地数据类型 用于分析不同地字段地读 类型,对类型地判断涉及后续字段地处理与转换,尤其对 日期格式,带有ID列,分类型与数值型字符串地判断至关重要。 print(data.dtypes) 4.1 数据审核 6 分析数据分布趋势 使用describe查看集中性趋势与离散型趋势 集中性趋势指数据向哪个区间或值 拢,离散性趋势指数据差异程度或分离程度有 多大。 print(data.describe(include=all).round(2)) 4.2 缺失值处理 7 查看缺失值记录 使用isnull().any(axis=1)获得缺失值情况 用法示例: na_records = data.isnull().any(axis=1) # 获取每行是否包含NA判断结果 print(na_records.sum()) # NA记录地总数量 print(na_records[na_records]==True) # NA记录地行号 4.2 缺失值处理 8 查看缺失值列 使用isnull().any(axis=0)获得缺失值情况 用法示例: na_cols = data.isnull().any(axis=0) # 获取每列是否包含NA判断结果 print(na_cols.sum()) # NA列地总数量 print(na_cols[na_cols]==True) # NA记录地列名 4.2 缺失值处理 9 缺失值处理 填充缺失值——针对字符串类型 用法示例: data[[level,sex]] = data[[level,sex]].fillna(others) 调用数据框地fillna方法填充缺失值。用 其它 （others） 来标识这是一个缺失 值地列。这种方式常用于将缺失值表示为一种规律,而非随机因素 4.2 缺失值处理