机器学习__缺失值处理.pptxVIP

缺失值处理决策树 决策树缺失值处理现实应用中，经常会遇到属性值“缺失”(missing)现象，如果仅使用无缺失的样例？对于数据量不太大的样本集，是对数据的极大浪费。 ？ ？ ？补充属性缺失值：如前所述。几种处理方式：（1）忽略这些缺失属性的样本。（2）给缺失值赋予该属性的均值或者最常用的值。（3）给缺失值赋予与其同类样本中该属性的最常用的值。（4）为缺失值的每个可能值赋予一个概率。 决策树缺失值处理2. 不补充属性缺失值对于带缺失值的样本，需解决3个问题：Q1：当开始决定选择哪个属性用来进行分裂时，如何计算其划分度量，如信息增益率？Q2：一个属性已被选择，那么在决定分支的时候如果样本在该属性上存在缺失，该属性该如何处理分支？Q3：当决策树已经生成，但预测样本缺失了某些属性，这些属性该如何处理？ ？ ？ ？ 决策树缺失值处理 ？ ？ ？不补充属性缺失值：计算增益或者增益率时根据缺失属性样本个数所占的比率对增益/增益率进行“打折”。Q1：如何进行分裂属性选择？在属性a上没有缺失的样本子集无缺失值样本所占的比例 决策树缺失值处理Q1：如何进行分裂属性选择？ ？ ？ ？以属性退税为例：无缺失的样本包含编号{1，2，3，4，5，7，8，9，10}?属性退税有两个属性值 {Yes，No}??? 决策树缺失值处理Q1：如何进行分裂属性选择？ ？ ？ ？类似地，可计算出所有属性在D上的信息增益为???假设以“婚姻状态”进行分裂，下面考虑如何处理分支 决策树缺失值处理忽略这些样本不忽略的做法是如何？Q2：如何进行属性分裂分支处理？婚姻状态已婚离 婚单身 决策树缺失值处理2.1 单独为属性缺失的样本划分一个分支子集。Q2：如何进行属性分裂分支处理？婚姻状态已婚离 婚单身 决策树缺失值处理2.2 把属性缺失的样本分配给所有子结点，并在不同分支中为该样本赋予不同的 值。Q2：如何进行属性分裂分支处理？婚姻状态已婚离 婚单身??? 决策树缺失值处理填充缺失值如果有单独的缺失分支，依据此分支；Q3：测试样本存在属性缺失问题，该如何处理？测试数据婚姻状态已婚离 婚单身 决策树缺失值处理在属性节点的分支上，遍历属性节点的所有分支，探索可能所有的分类结果，然后把这些分类结果结合起来一起考虑，按照概率决定一个分类。Q3：测试样本存在属性缺失问题，该如何处理？婚姻状态已婚离 婚单身???测试数据 决策树缺失值处理待分类样本在到达属性节点时就终止分类，然后根据此时该节点所覆盖的叶子节点类别状况为其分配一个发生概率最高的类。Q3：测试样本存在属性缺失问题，该如何处理？婚姻状态已婚离 婚单身???测试数据 THANKS