数据清洗与数据预处理教程文件.pptVIP

噪声数据的处理——分箱 用户自定义区间 用户根据需要自定义区间。 用户自定义：如将客户收入划分为1000元以下、1000~2000、2000~3000、3000~4000和4000元以上几组，分箱后 箱1：800 箱2：1000 1200 1500 1500 1800 2000 箱3：2300 2500 2800 3000 箱4：3500 4000 箱5：4500 4800 5000 噪声数据的处理——平滑处理 分箱后对数据进行平滑处理 3种进行数据平滑方法： ①按平均值平滑 对同一箱值中的数据求平均值，用平均值替代该箱子中的所有数据。 ②按边界值平滑 用距离较小的边界值替代箱中每一数据。 ③按中值平滑 取箱子的中值，用来替代箱子中的所有数据。 噪声数据的处理——聚类 簇：一组数据对象集合。同一簇内的所有对象具有相似性，不同簇间对象具有较大差异性。 聚类：将物理的或抽象对象的集合分组为由不同簇，找出并清除那些落在簇之外的值（孤立点），这些孤立点被视为噪声。 通过聚类分析发现异常数据：相似或相邻近的数据聚合在一起形成了各个聚类集合，而那些位于这些聚类集合之外的数据对象，自然而然就被认为是异常数据。 特点：直接形成簇并对簇进行描述，不需要任何先验知识。 噪声数据的处理——聚类 噪声数据的处理——回归 回归：发现两个相关的变量之间