第五讲modeler分类预测：决策树算法(二).pptVIP

决策树算法的说明 第一，决策树算法在处理不同类型数据时的优势和劣势 数值型的优势和劣势 不受数量级的影响 忽略分布特征 分类型的优势和劣势 建树效率高 类别较多时，树太茂盛 容易处理“混合类型”的输入变量 决策树算法的说明 第二，决策树算法是面向单变量的 容易处理大量的变量 当需要同时兼顾考虑多个变量的联合分布时，无能为力 “贪婪”局部搜索方法：大多数树模型学习算法的首选 大规模的搜索空间（如所有可能的2叉树） 没有任何容易驾驭的方法可以找到唯一的最优树 第三，树结构的表示能力比较粗超 用于分类的决策区域局限为超矩形，且矩形的边局限于何输入变量坐标轴平行 分类预测：决策树算法(二) 分类回归树 分类回归树（Classification And Regression Tree，CART）是由美国斯坦福大学和加州大学伯克利分校的Breiman等人于1984年提的 分类树和回归树 CART输入变量和输出变量可以是分类型也可以是数值型，C5.0中的输出变量只能是定类型 CART只能建立2叉树，而C5.0可以建立多叉树 CART以Gini系数和方差为基础选择最佳分组变量和分割点，而C5.0则是以信息增益率 CART依据检验样本集进行剪枝，而C5.0只依据训练样本集通过近似正态分布进行剪枝 树生长：分类树的生长 数值型输入变量： 找到使输出变量“异质性”下降最大的分割点 异质性测度： Clementine中 测度异质性下降： 归一化概率 分类型输入变量： 将多类别合并成“超类” Gini系数策略 Twoing策略：找到使合并形成的左右子结点（两个超类）中分布差异足够大的合并点s，即： Ordered策略：适用于定序型（Order Set型）输入变量，限定只有两个连续的别类才可合并成超类 树生长：分类树的生长 找到使输出变量“异质性”下降最大的分割点或“超类” 异质性测度： 测度异质性下降： 树生长：回归树的生长 分类回归树的剪枝 预剪枝 决策树最大深度 树中父结点和子结点所包含的最少样本量或比例 树结点中输出变量的最小异质性减少量 后剪枝：最小代价复杂性剪枝法(Minimal Cost Complexity Pruning，MCCP) 精度（或误差）和复杂度之间的权衡 叶结点的个数反映复杂程度，误差看作代价 决策树T的代价复杂度定义为： 在检验样本集上的分类误差 叶结点个数 复杂度系数，每增加一个叶结点所带来的复杂度 分类回归树的剪枝 保留子树 剪掉子树 越小，越有把握剪掉子树。可决策应首先剪掉那棵子树 分类回归树的剪枝 {t} Tt 令?＝0,逐渐增大?，直到?’ CART的后剪枝过程：（两个阶段） 第一，产生子树序列，分别表示为T1，T2，T3，…，Tk CART产生子树序列的过程： 首先，对于最大树T1，令?=0； 然后，按照上述方法计算代价复杂度，并逐步增加?直到有一个子树可以被剪掉，得到子树T2； 重复上述步骤，直到决策树只剩下一个根结点； 最后得到子树序列T1，T2，T3，…，Tk以及它们的代价复杂度 分类回归树的剪枝 CART的后剪枝过程： 第二，根据一定标准,在k个子树中确定一个代价复杂度最低的子树 放大因子 Tk预测误差的标准误 分类回归树：示例 找到影响客户流失的重要因素 采用自动建模方式 调整放大因子得到更重要的因素 结论： 老客户忠诚度较高、关注新客户 年龄、收入变量等是影响客户流失的重要方面，但并没有进入决策树，而是作为代理变量存在 分类回归树：损失矩阵和先验概率 损失矩阵对分类树的影响 以损失最小的类别作为预测类。计算各类别的平均错判损失，并考虑先验概率 通过先验概率调整损失计算，或将错判损失转化为先验概率，对损失较大的类别给与较高的先验值，以规避高损失 示例：调整先验概率为0.6和0.4，对No的预测置信水平提高了 对于没有选择附加服务的客户保持和流失成因分析 自行制定分组变量 关心无线费用的影响，可指定无线费用为分组变量 查看模型在训练样本集合和检验样本集合上的情况 分类回归树：交互建模 模型收益（Gains）评价： 模型能否概括某类样本所蕴涵的特征和规律，在检验样本集上有理想的分类预测能力。 模型总体收益越高就越有意义，利润（Profit）越高 逐个结点的收益评价： 选择类别：如选yes,则评价某节点（规则）对客户流失特征的概括能力 收益、收益(%)、响应(%) 索引(%)：提升度 分类回归树：模型评价 收益和风险 逐个结点的利润评价： 兼顾考虑所以类别，对节点总体利润的评价 分类回归树：模型评价 收益和风险 平均利润： ROI=总利润/总投资 模型整体的收益评价 选择类别：如选yes,则评价整个模型（规