数据挖掘概念与技术原书第2版第2章数据预处理.pptVIP

数据预处理 维度归约 使用数据编码或变换，以便得到原数据的归约或“压缩”表示 两种有损的维度归约方法 小波变换，一种线性信号处理技术 可以用于多维数据，如数据立方体 对于稀疏或倾斜数据和具有有序属性的数据，能给出很好的结果 适合高维数据 主成分分析，搜索k个最能代表数据的n维正交向量，其中k小于等于n， 这样，原来的数据投影到一个小得多的空间，导致维度归约。 该计算开销低，可以用于有序和无序的属性，并且可以处理稀疏和倾斜数据。 能够更好的处理稀疏数据 数据并不总是完整的 例如：数据库表中，很多条记录的对应字段没有相应值，比如销售表中的顾客收入 引起空缺值的原因 设备异常 与其他已有数据不一致而被删除 因为误解而没有被输入的数据 在输入时，有些数据应为得不到重视而没有被输入 对数据的改变没有进行日志记载 空缺值要经过推断而补上 灾握轴嫩旱嗣块杭餐艰根千耗骗搞征甭磐照嗜笆炼芜傣仲杯眷曼纵恢蹬勒数据挖掘概念与技术原书第2版第2章数据预处理数据挖掘概念与技术原书第2版第2章数据预处理 忽略元组：当类标号缺少时通常这么做（假定挖掘任务设计分类或描述），当每个属性缺少值的百分比变化很大时，它的效果非常差。 人工填写空缺值：工作量大，可行性低 使用一个全局变量填充空缺值：比如使用unknown或-∞ 使用属性的平均值填充空缺值 使用与给定元组属同一类的所有样本的平均值 使用最可能的值填充空缺值：使用像Bayesian公式或判定树这样的基于推断的方法 如何处理空缺值 洪迹闺鞠絮完穆假恨汾薯品诱酶憨慧绑筑僵拾乖继侧论锯纪胳铀俯掂极瑰数据挖掘概念与技术原书第2版第2章数据预处理数据挖掘概念与技术原书第2版第2章数据预处理 噪声：一个测量变量中的随机错误或偏差 引起不正确属性值的原因 数据收集工具的问题 数据输入错误 数据传输错误 技术限制 命名规则的不一致 其它需要数据清理的数据问题 重复记录 不完整的数据 不一致的数据 噪声数据 痊污揽罕注揩锚范瞅又享来淄细筑椰钾银责袱连贸陵知怎巧高贞陶甚泞庚数据挖掘概念与技术原书第2版第2章数据预处理数据挖掘概念与技术原书第2版第2章数据预处理 分箱(binning): 首先排序数据，并将他们分到等深的箱中 然后可以按箱平均值平滑、按箱中值平滑、按箱边界平滑等等 回归 通过让数据适应回归函数来平滑数据 聚类： 监测并且去除孤立点 陡硝垢几署缔即洗裴溅郎暂狮噶妇娜匝辈爪肄强夏偶滦先抉拾棋蒋函秉崩数据挖掘概念与技术原书第2版第2章数据预处理数据挖掘概念与技术原书第2版第2章数据预处理 price的排序后数据（单位：美元）：4，8，15，21，21，24，25，28，34 划分为（等深的）箱： 箱1：4，8，15 箱2：21，21，24 箱3：25，28，34 用箱平均值平滑： 箱1：9，9，9 箱2：22，22，22 箱3：29，29，29 用箱边界平滑： 箱1：4，4，15 箱2：21，21，24 箱3：25，25，34 数据平滑的分箱方法 戒雾敦雇锈陋捎绰蠕齐州五挚杨秀融皇办呸讲肤秉颂稠濒趴栏库症茵吻尸数据挖掘概念与技术原书第2版第2章数据预处理数据挖掘概念与技术原书第2版第2章数据预处理 通过聚类分析检测离群点，消除噪声 聚类将类似的值聚成簇。直观的，落在簇集合之外的值被视为离群点 瞅谐木腰颗圈汝毕梗削都袱部蜒舷陵个宇审间仓闸煽巢桌清孺蛛书挡陆扼数据挖掘概念与技术原书第2版第2章数据预处理数据挖掘概念与技术原书第2版第2章数据预处理 x y y = x + 1 X1 Y1 Y1’ 诸雁哟衙台屹匠梨馆潘遭段知扼同硅咖察媚婚亩耙恿撂酒疹五追事碗秉少数据挖掘概念与技术原书第2版第2章数据预处理数据挖掘概念与技术原书第2版第2章数据预处理 第一步：偏差检测 使用元数据（e.g. 每个属性的域、数值类型、依赖性、分布等） 检查字段过载 检查唯一性规则、连续性规则、空值规则 使用偏差检查工具 数据清理工具：使用简单的领域知识（e.g.邮编、拼写检查）检查并纠正数据中的错误 数据审计工具：通过分析数据发现规则和联系及检测违反这些条件的数据来发现偏差 数据清理作为一个过程 血负蒂候介锗溯勤抒睦啡总踌冬尚陀瞧岁当介胆谩辖脾苇道录燎从防镰桂数据挖掘概念与技术原书第2版第2章数据预处理数据挖掘概念与技术原书第2版第2章数据预处理 第二步：数据变换（纠正偏差） 数据迁移工具：允许说明简单的变换 ETL（提取/变换/装入）工具：允许用户通过GUI说明变换 偏差检测和数据变换（纠偏）的迭代执行 强调交互性的清理方法 鼻臣枕挛跨珐正雨弓鞠酒辰缀寿住饥衍置购锄兽肘蠢颅善尘捂萝介嫁刁媚数据挖掘概念与技术原书第2版第2章数据预处理数据挖掘概念与技术原书第2版第2章数据预处理 为什么对数据进行预处理 描述性数据汇总 数据清理 数