机器学习算法常用指标总结.docxVIP

机器学习性能评价标准是模型优化的前提，在设计机器学习算法过程中，不同的问题需要用到不同的评价标准，本文对机器学习算法常用指标进行了总结。

阅读目录

1.TPR、FPRTNR

2.精确率Precision、召回率Recall和F1值

3.综合评价指标F-measure

4.ROC曲线和AUC

5.参考内容

考虑一个二分问题，即将实例分成正类（positive）或负类（negative）。对一个二分问题来说，会出现四种情况。如果一个实例是正类并且也被预测成正类，即为真正类（Truepositive）,如果实例是负类被预测成正类，称之为假正类（Falsepositive）。相应地，如果实例是负类被预测成负类，称之为真负类（Truenegative）,正类被预测成负类则为假负类（falsenegative）。

TP：正确肯定的数目；

FN：漏报，没有正确找到的匹配的数目；

FP：误报，给出的匹配是不正确的；

TN：正确拒绝的非匹配对数；

列联表如下表所示，1代表正类，0代表负类：

1.TPR、FPRTNR

从列联表引入两个新名词。其一是真正类率(truepositiverate,TPR),计算公式为

TPR=TP/(TP+?FN)

刻画的是分类器所识别出的正实例占所有正实例的比例。

另外一个是负正类率(falsepositiverate,?FPR),计算公式为

FPR=FP/(FP+TN)

计算的是分类器错认为正类的负实例占所有负实例的比例。

还有一个真负类率（TrueNegativeRate，TNR），也称为specificity，计算公式为

TNR=TN/(FP+?TN)=1-FPR

2.精确率Precision、召回率Recall和F1值

精确率（正确率）和召回率是广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。其中精度是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率；召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。

一般来说，Precision就是检索出来的条目（比如：文档、网页等）有多少是准确的，Recall就是所有准确的条目有多少被检索出来了，两者的定义分别如下：

Precision=提取出的正确信息条数/?提取出的信息条数???

Recall=提取出的正确信息条数/?样本中的信息条数?

为了能够评价不同算法的优劣，在Precision和Recall的基础上提出了F1值的概念，来对Precision和Recall进行整体评价。F1的定义如下：

F1值?=正确率*召回率*2/(正确率+召回率)?

不妨举这样一个例子：

某池塘有1400条鲤鱼，300只虾，300只鳖。现在以捕鲤鱼为目的。撒一大网，逮着了700条鲤鱼，200只虾，100只鳖。那么，这些指标分别如下：

正确率=700/(700+200+100)=70%

召回率=700/1400=50%

F1值=70%*50%*2/(70%+50%)=58.3%

不妨看看如果把池子里的所有的鲤鱼、虾和鳖都一网打尽，这些指标又有何变化：

正确率=?1400/(1400+?300+300)=70%

召回率=?1400/1400=100%

F1值=70%*100%*2/(70%+100%)=82.35%???

??

由此可见，正确率是评估捕获的成果中目标成果所占得比例；召回率，顾名思义，就是从关注领域中，召回目标类别的比例；而F值，则是综合这二者指标的评估指标，用于综合反映整体的指标。

当然希望检索结果Precision越高越好，同时Recall也越高越好，但事实上这两者在某些情况下有矛盾的。比如极端情况下，我们只搜索出了一个结果，且是准确的，那么Precision就是100%，但是Recall就很低；而如果我们把所有结果都返回，那么比如Recall是100%，但是Precision就会很低。因此在不同的场合中需要自己判断希望Precision比较高或是Recall比较高。如果是做实验研究，可以绘制Precision-Recall曲线来帮助分析。

3.综合评价指标F-measure

recision和Recall指标有时候会出现的矛盾的情况，这样就需要综合考虑他们，最常见的方法就是F-Measure（又称为F-Score）。

F-Measure是Precision和Recall加权调和平均：

当参数α=1时，就是最常见的F1。因此，F1综合了P和R的结果，当F1较高时则能说明试验