1数据分析与软件应用第一讲数据分析概述.pptVIP

三、录入 1．使用编码表（code sheet） 2．直接输入数据 3．在调查的同时输入资料 4．使用光学扫描仪 四、数据清理 1．编码幅度检查 四、数据清理 2．列联式检查 第二步，资料分析？ * * 数据预处理 初步知识介绍 数据清洗 数据集成 数据转换 数据消减 噪声数据是指数据中存在着错误、或异常（偏离期望值）的数据； 不完整数据是指感兴趣的属性没有值； 不一致数据则是指数据内涵出现不一致情况（如：作为关键字的同一部门编码出现不同值）。 数据清洗是指消除数据中所存在的噪声以及纠正其不一致的错误； 数据集成是指将来自多个数据源的数据合并到一起构成一个完整的数据集； 数据转换是指将一种格式的数据转换为另一种格式的数据； 数据消减是指通过删除冗余特征或聚类消除多余数据。 数据清洗 遗漏数据处理： 忽略该条记录 手工填补遗漏值 利用缺省值填补遗漏值 利用均值填补遗漏值 利用同类别均值填补遗漏值 利用最可能的值填补遗漏值 统计分析 1. 数据的整理和清扫 2. 数据的初步统计（均值，方差，相关系数） 3. 假设检验（不同类别的数值是否具有一致性） * * QA * 数据分析与处理 数据分析与处理 数据分析与处理 王明芳 南京农业大学工学院 * * 主要内容 Who ？ When ？ How？ What？ 数据分析与处理 Why？ * *