随机森林评价指标precision,recall,F1.docxVIP

随机森林二分类评价指标 1、真实标签-预测标签的混淆矩阵 样本被预测为正 样本被预测为负 实际样本为正 TP(truepositive) FN(false negative) 实际样本为负 FP(falsepositive) TN(true negative) TP：这里的T表示true，样本被正确的预测了，p即positive，表示样本被预测为正样本。 TN：正确的预测了该样本，且样本预测值是负样本 FP：错位的预测了该样本，且样本被预测成了正样本，说明样本本身是负样本 FN：错位的预测了该样本，且样本被预测成了负样本，说明样本本身是正样本 以上的四个值，是样本的真实标签和预测标签之间会发生的所有关联情况，也是分类指标计算的基础2、accuracy（准ft率）accuracy，后面简称acc，是分类中非常常见的一种评价指标， 也是非常好理解的一种评价指标，即所有被预测的样本，预测正确的概率时多少，这个是其实是比较直观的，就是正确预测样本的占比，计算公式如下： ITP-TNficr=TP一TN-FP-FN acc指标存在一个问题，只要样本的标签预测正确了，acc就会上升。如果一个数据集中，正负样本严重失衡，所有的正样本能检测出来，所有的负样本检测不出来，最后的acc还是会很高，但是这样也没有意义。比如在癌症检测里面，不患病的正样本很多，患病的负样本很少，如果只是检测出那些没有患病的人，而患病的样本都没有检测出来，计算acc的时候还是很高，但是实际上acc就不是很适用这种场景，因为如果换了癌症而系统检测检测不出来，那这个检测系统根本就没有意义。 3、precision,recall和F1-score precision和recall经常一起出现，它们都是只关心预测正确的正样本占的比例，只是分母不一样。precision即准确度，也是衡量分类器能正确识别样本的能力，它表示的是，在被识别成正样本的样本中，正确预测的样本占的比例，通常叫做查准率。recall即召回率，它表示的是，被预测的所有正样本，能够被正确预测的占比，通常叫查全率。计算公式分别如下： Pyeeiaion=TPTP+FPF]2、Precifsion Pyeeiaion= TPTP+FP Precision+Recall 对于F1-score，更一般的有： （1-t-伊）-Piecisiou■Recall xPrecision+Recall 可以看出，F1-score是一个综合的评价指标。对于precision和recall的选择，个人认为应该根据实际的应用场景来，最后想要的是更多的检测出想要的样本，还是尽量少出错。 4.晰的选择问题 例如，在一个癌症病人的检测系统里，我们更希望的是，尽可能多的检测出癌症病人，因为希望它们能得到及时的治疗，那么这个时候就应该用recall，也就是查全率，尽可能将所有的癌症样本识别出来。 如果是在一个垃圾邮件检测系统中，我们当然也很希望尽量检测出垃圾邮件，但是如果把一封正常邮件识别为垃圾邮件，可能会带来很严重的后果。所以，在这种情况下，我们要保证的是系统对邮件的判断的正确性，那么就要用precision，也就是查准率，保证定性为垃圾邮件的样本不出错。 对于precision和recall的选择，包括acc的选择，个人比较赞同的是根据实际的分类任务或者目标，来确定使用哪种指标。acc的话，一般肯定是样本比较均衡的时候一种比较好的选择。 随机森林多分类评价指标 其实多分类评价指标也是从二分类评价指标演变而来的，现在来看一下各个指标实际关注的信息。 对于accuracy来说，它是针对全局的样本的，只要样本被正确预测，公式的分子就加1,分母就是全部被预测的样本。所以，样本的类别标签对acc没有影响，acc只关注预测正确与否。所以，对于一个多分类模型，acc的计算方式跟二分类是一样的，都是以样本问单位的。 对于其它指标的计算，如下： 1、macro-F1 最直接的一种计算方式，就是分别计算每个类比的precision和recall，以此计算相应的F1,然后再用类别数平均一下F1,即为macroFI，感觉这种计算方式比较好理解，也比较好实现。就是每个类别分别计算了，然后再平均。 2、weight-F1这种方式是在macro-F1的基础上考虑到类别不平衡的问题，假设有三类，样本数分别为c1,c2和c3，那么每一类的权重分别为ci/(c1+c2+c3),则precision的计算方式是每个类别的precision和其权重的加权平均，recall也同理，F1则直接由precision和recall计算得到。 …-T已Frecisiont=———TP.+FP,PrMiisioiLjxm Prf5CLSi0TlUjC1(p^^cJ—Tp. Recall^