Modeler分类预测决策树算法(二).pptVIP

分类预测：决策树算法

(二);分类回归树;树生长：分类树的生长;分类型输入变量：

将多类别合并成“超类”

Gini系数策略

Twoing策略：找到使合并形成的左右子结点（两个超类）中分布差异足够大的合并点s，即：

Ordered策略：适用于定序型（OrderSet型）输入变量，限定只有两个连续的别类才可合并成超类;找到使输出变量“异质性”下降最大的分割点或“超类”

异质性测度：

测度异质性下降：

;分类回归树的剪枝;后剪枝：最小代价复杂性剪枝法(MinimalCostComplexityPruning，MCCP)

精度（或误差）和复杂度之间的权衡

叶结点的个数反映复杂程度，误差看作代价

决策树T的代价复杂度定义为：;;令?＝0,逐渐增大?，直到?’

CART的后剪枝过程：（两个阶段）

第一，产生子树序列，分别表示为T1，T2，T3，…，Tk

CART产生子树序列的过程：

首先，对于最大树T1，令?=0；

然后，按照上述方法计算代价复杂度，并逐步增加?直到有一个子树可以被剪掉，得到子树T2；

重复上述步骤，直到决策树只剩下一个根结点；

最后得到子树序列T1，T2，T3，…，Tk以及它们的代价复杂度;CART的后剪枝过程：

第二，根据一定标准,在k个子树中确定一个代价复杂度最低的子树

;分类回归树：示例

找到影响客户流失的重要因素;分类回归树：损失矩阵和先验概率;对于没有选择