数据挖掘算法-04分类.ppt

ROC图形是一个二维图形，横轴为FPR，纵轴为TPR，直观的展示FPR与TPR之间的对应关系。 显然，一个优秀分类器对应的ROC曲线应该尽量靠近单位方形的左上角。而如果一条ROC曲线沿着将负分类器点和正分类器点连接构成的对角线，则该分类器的预测效果与随机猜测的同样差。 ROC曲线图直观清楚地表现能力是毋庸置疑的，但是在实际应用中往往希望通过一个数字标准进行评估。 A与B哪个更优秀??? AUC(the area under ROC)的值，即处于ROC curve下方的那部分面积的大小。一般AUC的值介于0.5到1.0之间，较大的AUC值代表了较好的性能。 计算AUC的方法很多，在有参数、半参数和无参数的条件下都可以进行，其中最通用的方法是用积分法求取ROC曲线下的面积。 1. ROC曲线和AUC对类分布的改变不敏感 类分布：测试集中正例和负例的比例 任何既用到P中的实例又用到N中的实例的标准势必要受到类分布改变的影响。而在ROC图形中，FPR只用到了N中的实例，TRP只用到了P中的实例，因此，不依赖于类分布的改变。 ROC曲线与AUC的性质 ROC曲线与AUC的性质 2.在实际应用中，类分布的不平衡现象非常广泛，类分布不平衡程度达到1:10,1:100的非常常见，有的甚至达到1:10^6。这种严重的不平衡的类分布使得一些传统的评价标准不再适用，而ROC曲线和AUC由于不