《基于Clementine的数据挖掘》课件—03数据精简.pptVIP

  • 1
  • 0
  • 约1.64千字
  • 约 15页
  • 2022-06-02 发布于安徽
  • 举报

《基于Clementine的数据挖掘》课件—03数据精简.ppt

Clementine的数据精简 主要内容 数据精简包括以下方面: 第一,从压缩样本入手(前章) 第二,从压缩变量取值入手,通过减少变量取值个数,提高建模效率。主要指变量值的分箱处理。(本章) 第三,从压缩变量个数入手,通过减少变量维度,提高建模效率。主要借助统计方法降维,或依据相关性进行特征选择。(本章) 变量值的离散化处理 特征选择 变量值的离散化处理 前提:数值型变量在较低数量级上的取值差异,看作可被忽略的小的随机波动 目的 提高数据挖掘中海量数据的处理效率 并非所有数据挖掘方法都支持对数值型变量的分析 方法: 无指导的数据分箱 有指导的数据分箱 变量值的离散化处理 无指导的数据分箱:以Students.xls为例 组距分组 分位数分组 拓展:在指定组数的前提下,依据各组变量值总和近似的原则进行分组 例:2,3,5,6,7,12,分成3组(2,3,5)、(6,7)、(12) 单变量值分组:例:2,3,5,6,6,7,12,秩分组结果1,2,3,4.5,4.5,6,7 均值-标准差分组 如果经分箱处理的变量将作为输入变量,不恰当的分组可能后会导致学习时的“先天不足” 变量值的离散化处理 有指导的数据分箱:应考虑分组结果对其他变量的影响,分组在输出变量“指导”下进行 变量值的离散化处理 Clementine提供的方法基于最短描述长度原则的熵分组 MDLP(Minimum De

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档