决策树模型简介课件.pptVIP

（2）后剪枝（下-上选择标准）类似于回归分析中向后剔除法选择变量。 通过长成一个大的树后，然后从下向上进行剪枝。后剪枝需要有两个条件： 第一个：有一个分类性能的评价方法，最简单的是将数据集分成训练集和校正集。校正集用来进行模型的比较。但是存在一个问题是：当数据集小时，数据集拆分会降低拟合度。 另外一个条件是要有一个选择模型的标准如准确度、profit、ASE(average squared error)等。 后剪枝 后剪枝 Leaves Performance Generalization Training Data 模型选择标准 .90/.88 .90/.88 .89/.91 .88/.91 .59/.64 Accuracy 5 4 3 2 1 Leaves .51/.43 .51/.40 .49/.44 .49/.44 .04/ ?.1 Profit .17/.15 .18/.14 .19/.16 .20/.16 .48/.46 Gini 对于分类问题，恰当的泛化标准是分类的正确和不正确的数量 混淆矩阵 Actual Class Decision/Action 0 1 0 1 Corrected 如果训练集的某事件构成( )与人群中（ ）不同，要进行调整。 模型准确性 t1 t2 t3 最大准确度 Tr 8.6% 91% 58% 0 Va 3.4% 97% 60% 0 1: 0: tot: Class: Tr 85% 15% 42% 1 Va 83% 17% 40% 1 1: 0: tot: Class: Training Accuracy = (.42)(.85) + (.58)(.91) = .88 Validation Accuracy = (.40)(.83) + (.60)(.97) = .91 依据最大的后验概率分配每个观测不总是合理的，特别对于罕见事件。比如，所有的观测可能被分配到相同的类别中去。 简单的将正确的分类加在一起，并不能说明分类的价值是有意义的，有的误分类后会有更昂贵的代价 因此，如果有合适的profits/losses 来定义，可以做出最优的决策准则来表达最大的利润或最小的损失。在SAS中，如果定义了profits/losses矩阵，则用其剪枝；否则为准确度 Profit 矩阵 Actual Class Decision Bayes Rule: Decision 1 if 0 1 0 1 SAS中默认前后混合剪枝 最大 Profit Tr 8.6% 91% 58% ?.78 0 0 Va 3.4% 97% 60% ?.91 0 0 1: 0: tot: P1: P0: Class: Tr 85% 15% 42% 1.18 0 1 Va 83% 18% 40% 1.11 0 1 1: 0: tot: P1: P0: Class: Training Profit = (.42)(1.18) + (.58)(0) = .50 Validation Profit = (.40)(1.11) + (.60)(0) = .44 1.56 0 ?1 0 1 0 1 0 actual predicted Profit Matrix 举例 SAMPSIO.DMLCENS数据库。n=32561,17个输入变量。9个 输入变量是名义变量。3个有15个或更多水平。该数据集中有 24%的观测年收入50K，与人群中不成比例（2%）。 变量名 角色 测量水平 变量类型 变量标签 CLASS input target char whether the case earns more than 50K per year AGE input interval num age WORKCLAS input nominal char workclass:federal-gov,local-gov,never-worked,etc. FNLWGT input interval num Washington State Population Survey Weighted EDUC input nominal char Educational level, e.g bachelor, master,etc. EDUC_NUM input interval num Educational time MARITAL input nominal char Marital status, e.g., married-AF-spouse, seperate,divorced,etc. OCCUPATN input nominal char Occupation of the customer, e.g., Adm-cleri