- 1
- 0
- 约小于1千字
- 约 11页
- 2023-05-09 发布于辽宁
- 举报
授课教师: 赵春晖
1
大数据解析与应用导论Introduction to Big Data Analytics and Application
第二章 绪论数据预处理及特征提取
(一)什么是数据清洗
数据清洗:对“脏数据”进行处理
脏数据
缺失值
异常值
不一致的值
海量原始数据中存在大量不完整,有异常的数据
分析错误的数据会导致分析结果的偏差
(二)缺失值处理
姓名
身高
体重
…
血糖值
xx
xx
xx
…
xx
xx
xx
xx
…
xx
xx
xx
…
xx
xx
xx
xx
…
xx
xx
xx
xx
…
xx
xx
xx
xx
…
xx
缺失数据:
空单元表示
NaN
缺失值处理方法
删去整条数据
插补
删除法的优点:
简单,保证数据的准确性
删除法的缺点:
数据成本高,其余数据可能已包括大部分信息,删去浪费
(二)缺失值处理
插补
替换法
最近邻插补
回归法
插值法
使用平均值,众数或固定值代替
找到最相似样本,用对应值替代
根据变量间的相关关系回归
时间序列数据用牛顿法等插值
(三)异常值处理
异常值分析:检测数据是否有输入错误或者含有不合常理的数据
影响模型
影响分析结果
异常值检查
简单统计量分析
3σ准则
箱型图分析
(三)异常值处理
简单统计量分析
计算数据的统计量,进行分析
最常用的是最大值最小值并分析是否合理
最大年龄是200
您可能关注的文档
- 财务管理学课件2.1.3年金终值和现值课件.pptx
- 财务管理学课件2.1.4货币时间价值计算中的几个特殊问题课件.pptx
- 财务管理学课件3.3资金成本课件.pptx
- 财务管理学课件3.4杠杆效应课件.pptx
- 财务管理学课件3.5资本结构决策课件.pptx
- 财务管理学课件4.1投资管理概述课件.pptx
- 财务管理学课件5.2.1现金管理课件.pptx
- 财务管理学课件5.2.2应收账款管理课件.pptx
- 财务管理学课件5.2.3存货管理课件.pptx
- 大数据解析与应用导论 课件1-1课程综述1课件.pptx
- 【万联-2026研报】计算机行业跟踪报告:大模型调用效率提升,关注算力运营服务能力升级机遇.pdf
- 【联合资信-2026研报】10月经济数据点评:内需亟待破局.pdf
- 【国元(香港)-2026研报】中资美元债周报:一级市场发行量略降,二级市场整体下跌.pdf
- 【浙商-2026研报】原油周报:原油供给有望逐步恢复,油价中枢下行趋势或基本确定.pdf
- 【世界卫生组织-2026研报】Meningitis Bulletin Week 40 - 44, 2026.pdf
- 【东方股份有限公司-2026研报】地缘缓和预期与有效运力增加驱动运价回落,长航线恢复望支撑运价回升交通运输行业周报.pdf
- 【东吴-2026研报】有色金属行业跟踪周报:美国10月通胀超预期,金属价格承压.pdf
- 【华西-2026研报】有色金属海外季报:Maaden2026Q3氧化铝产量同比减少0.8%至48.2万吨,原铝产量同比增加1.6%至25.0万吨.pdf
- 【山西-2026研报】策略周报:反弹中断资金转向,配置回归现金流确定性.pdf
- 【万联-2026研报】10月经济数据跟踪:经济结构分化持续,政策有待逐步落地.pdf
最近下载
- 《未来交通》教学课件 - 2026-2027 学年人教版(新教材)小学美术四年级上册.pptx
- 2025年宜宾市直遴选考试真题汇编附答案解析(夺冠).docx VIP
- 2016版华能火电工程设计导则(第一部分)2016版-修改稿20160830.pdf VIP
- T CECS 200-2025 建筑钢结构防火技术标准.pdf VIP
- 自动步枪俯仰角射击训练.pptx VIP
- 广东奥科半导体1N4148WSL-SOD-323FL印字T4.pdf VIP
- 结构化学基础(第5版)周公度习题答案解析.0002.pdf
- 2026年最新老年评估师实操考试题库练习及答案.docx
- 结构化学基础(第5版)周公度习题答案解析.0001.pdf
- 2026年6月英语六级真题(第二套)及答案解析.pdf VIP
原创力文档

文档评论(0)