4.1.1 数据预处理《财务大数据分析》教学课件.pptxVIP

财务大数据分析第四章 数据预处理 本章目录010203数据预处理概述数据清洗数据集成0405实战演练场本章总结与测试 数据分析流程需求分析数据获取数据预处理分析与建模模型评价与优化部署业务部门财务部门生产部门网络爬虫历史数据实时数据数据合并数据清洗数据标准化数据变换对比分析分组分析交叉分析回归分析智能推荐关联规则分类模型聚类模型聚类模型评价分类模型评价回归模型评价业务系统财务系统生产系统 数据分析流程 01数据预处理概述数据预处理 1数据预处理的概念数据预处理2数据预处理基础方法3常见的数据处理工具 数据预处理脏数据从目标中取出的数据已经过期、错误或者没有意义。例如，工作人员同时进行数据编辑，A保存在前，B保存在后，B会把A的数据覆盖。如果在B保存之前取出了数据，则可能取出脏数据。是指在主要的处理以前对数据进行的一些处理。数据预处理 现实世界中数据大体上都是不完整、不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。一、数据预处理的概念 脏数据噪声数据不完整数据不一致数据数据内涵出现不一致情况（例如，作为关键字的同一部门编码出现不同值）。感兴趣的属性没有值。数据中存在着错误或异常（偏离期望值）的数据。数据预处理一、数据预处理的概念 1数据清洗预处理方法消除数据中存在的噪声及纠正其不一致的错误。数据集成2数据转换3数据归约4通过删除冗余特征或聚类消除多余数据。将一种格式的数据转换为另一种格式的数据。将来自多个数据源的数据合并到一起构成一个完整的数据集。数据预处理二、数据预处理基础方法 123KettleDatastageinformatica专业图形化工具Tableau PrepAlteryx简单图形化工具PythonSQR专业非图形化工具数据预处理三、常见的数据处理工具 数据预处理数据预处理的概念数据预处理基础方法常见的数据处理工具本节小结 感谢观看