大数据解析与应用导论 课件2-1数据清洗课件.pptxVIP

  • 1
  • 0
  • 约小于1千字
  • 约 11页
  • 2023-05-09 发布于辽宁
  • 举报

大数据解析与应用导论 课件2-1数据清洗课件.pptx

授课教师: 赵春晖 1 大数据解析与应用导论 Introduction to Big Data Analytics and Application 第二章 绪论数据预处理及特征提取 (一)什么是数据清洗 数据清洗:对“脏数据”进行处理 脏数据 缺失值 异常值 不一致的值 海量原始数据中存在大量不完整,有异常的数据 分析错误的数据会导致分析结果的偏差 (二)缺失值处理 姓名 身高 体重 … 血糖值 xx xx xx … xx xx xx xx … xx xx xx … xx xx xx xx … xx xx xx xx … xx xx xx xx … xx 缺失数据: 空单元表示 NaN 缺失值处理方法 删去整条数据 插补 删除法的优点: 简单,保证数据的准确性 删除法的缺点: 数据成本高,其余数据可能已包括大部分信息,删去浪费 (二)缺失值处理 插补 替换法 最近邻插补 回归法 插值法 使用平均值,众数或固定值代替 找到最相似样本,用对应值替代 根据变量间的相关关系回归 时间序列数据用牛顿法等插值 (三)异常值处理 异常值分析:检测数据是否有输入错误或者含有不合常理的数据 影响模型 影响分析结果 异常值检查 简单统计量分析 3σ准则 箱型图分析 (三)异常值处理 简单统计量分析 计算数据的统计量,进行分析 最常用的是最大值最小值并分析是否合理 最大年龄是200

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档