CART剪枝算法详解.pdfVIP

CA RT剪枝算法详解 CART剪枝算法 CART剪枝算法从 “完全⽣长 “的决策树的底端剪去⼀些⼦树，使决策树变⼩ （ 型变简单），从⽽能够对未知数据有更准确的预测。 CART剪枝算法由两步组成 ：⾸先从⽣成算法产⽣的决策树T0底端开始不断剪枝，直到T0的根节点，形成⼀个⼦树序列{T0,T 1 ,…, Tn} ； 然后通过交叉验证法在独⽴的验证数据集上对⼦树序列进⾏测试，从中选择最优⼦树。 1． 剪枝，得到⼦树序列 ⼦树的损失函数 ： 　　　　　　　　　　　Cα (T ) = C (T ) + α ∣T ∣ 　　T为任意⼦树，C(T)为对训练数据的预测误差，可以是基尼指数，|T |为⼦树T的叶⼦节点个数，α= 0为参数，C α(T)为参数是 α时的 ⼦树T的整体损失，|T |衡量树的复杂度，α权衡训练数据的拟合程度与树的复杂度。 为了使得损失函数减⼩，有两种办法 ： 1 降低第⼀部分的不确定次数，但我们知道这是不可能的了，因为降低不确定次数的办法是再找寻⼀个特征，或者找寻特征的最优切分 点。这在⽣成决策时就已经决定了，⽆法改变。 （换句话说就是使得⼦树T的预测误差下降，这可能就要重新选择特征） 2 进⾏剪枝操作，这是可以的。剪枝最明显地变化就是叶结点个数变少。假设是⼀个三叉树，