7-第8章节数据挖掘模型评估.pptVIP

Response rate =预测会违约且实际会违约/所有预测会违约 =66/(66+28)=70.21% 预测模型回应率的高低须和总体回应率比较： 总体response rate =总体实际会违约/总体=(66+185)/(66+185+28+721)=25.1% * * 预测值 1 0 1（实际“会违约”） 66 185 0（实际“不会违约”） 28 721 ?回应率(response rate)：在预测的名单中找出有多少小概率事件（在预测违约的名单中，真正违约的所占比例是多少）。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 可以发现，原始回应率为25.1%，运用数据挖掘模型提升为70.21%，因此回应率提升了2.8倍。 回应率讲究的是模型“宁缺勿滥”的能力。 回应率高并不代表一定是好模型，因为如果利用数据挖掘模型从一万人中挑出10个最有可能会买产品的顾客，结果回应率是100%，但是却漏掉了大多数会买产品的顾客，因此，还得参考“反查率”这个指标。 * * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Recall =预测会违约且实际违约/所有实际会违约 =66/(66+185)=26.29% 它的意义在于：预测出来会违约的人占了总体会违约的客户多少百分比。反查率越高，表明犯第二类错误的可能性越小，那么模型越好。 * * 预测值 1 0 1（实际“会违约”） 66 185 0（实际“不会违约”） 28 721 ?反查(recall)：预测出来的小概率事件占总体小概率事件的比例是多少。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 完美的预测模型反查率是100%，但是反查率与回应率是互相矛盾的。 recall=67/(67+184)66/(66+185) Response rate=67/(67+38)66/(66+28) * * 预测值 1 0 1（实际“会违约”） 67 184 0（实际“不会违约”） 38 711 预测值 1 0 1（实际值） 66 185 0（实际值） 28 721 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Range reduce =预测会违约/总体=(66+28)/(66+28+721+185) =9.4% 间距缩减代表的是根据模型执行活动时的成本，当如果名单量没有有效缩减时，执行的总成本会很高，因此间距缩减越低越好。 * * 预测值 1 0 1（实际值） 66 185 0（实际值） 28 721 ?间距缩减(range reduce)：通过DM模型来找出小概率事件时，名单缩小了多少。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 从上述三个指标来看，这个预测模型可以让名单缩减至原来的9.4%，但是却只包含了总体26.29%会违约的人（反查率），让回应率提升了原先的2.8倍。 * * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 很少有模型同时能够满足上述三个指标的要求，当回应率很高时，一定是筛选高概率族群，因此名单间距缩减一定会变低，但是会遗漏掉低概率族群必定会造成反查降低，所以若只看分类矩阵，找不出最好的模型。 分类矩阵是根据一个概率阀值将顾客分作两种情况，过度简化了实际的结果。因为所有的演算法除了预测结果之外，同时还会提供概率值作为排序的基准。 * * Evaluation only. Created with Aspose.Slides for .NET 3.5 Cl