准确率（Accuracy）,精确率（Precision）,召回率（Recall）和F1-M。。。.pdfVIP

准确率（）精确率（）召回率（）

Accuracy,Precision,Recall

和F1-M。。。

机器学习(ML),⾃然语⾔处理(NLP),信息检索(IR)等领域,评估(Evaluation)是⼀个必要的⼯作,⽽评价指标往往有如下⼏点:准确率

(Accuracy),精确率(Precision),召回率(Recall)和F1-Measure。(注：相对来说，IR的groundtruth很多时候是⼀个OrderedList,⽽

不是⼀个Bool类型的UnorderedCollection，在都找到的情况下，排在第三名还是第四名损失并不是很⼤，⽽排在第⼀名和第⼀百名，

虽然都是“找到了”，但是意义是不⼀样的，因此更多可能适⽤于类评估指标。)

本⽂将简单介绍中⼏个概念。中⽂中这⼏个评价指标翻译各有不同，所以⼀般情况下推荐使⽤英⽂。

现在我先假定⼀个具体场景作为例⼦。

假如某个班级有男⽣8800⼈,⼥⽣2200⼈,共计110000⼈.⽬标是找出所有⼥⽣.

现在某⼈挑选出5500个⼈,中2200⼈是⼥⽣,另外还错误的把30个男⽣也当作⼥⽣挑选出来了.

作为评估者的你需要来评估e(evvaaluluaattioionn)下他的⼯作

⾸先我们可以计算准准确确率率(a(accccuuraracyc)y,)定义是:对于给定的测试数据集，分类器正确分类的样本数与总样本数⽐。也就是损失函数是0-

1损失时测试数据集上的准确率.

这样说听起来有点抽象，简单说就是，前⾯的场景中，实际情况是那个班级有男的和⼥的两类，某⼈(也就是定义中所说的分类器)他⼜把班

级中的⼈分为男⼥两类。accuracy需要得到的是此君分分正正确确的的⼈⼈占总总⼈⼈数数的⽐例。很容易，我们可以得到:他把中70(20⼥+50男)⼈判

定正确了,⽽总⼈数是100⼈，所以它的accuracy就是70%(70/100).

由准确率，我们的确可以在⼀些场合，从某种意义上得到⼀个分类器是否有效，但它并不总是能有效的评价⼀个分类器的⼯作。举个例

⼦,google抓取了argcv100个页⾯，⽽它索引中共有10,000,000个页⾯,随机抽⼀个页⾯，分类下,这是不是argcv的页⾯呢?如果以

accuracy来判断我的⼯作，那我会把所有的页⾯都判断为不是argcv的页⾯,因为我这样效率⾮常⾼(returnfalse,⼀句话),⽽accuracy已

经到了99.999%(9,999,900/10,000,000),完爆它很多分类器⾟⾟苦苦算的值,⽽我这个算法显然不是需求期待的,那怎么解决呢?这就

是precision,recall和f1-measure出场的时间了.

在说precision,recall和f1-measure前,我们需要先需要定义TP,FN,FP,TN四种分类情况.

按照前⾯例⼦,我们需要从⼀个班级中的⼈中寻找所有⼥⼥⽣⽣,如果把这个任务当成⼀个分类器的话,那么⼥⽣就是我们需要的,⽽男⽣不是,所以

我们称⼥⽣为正类,⽽男⽣为负类.

相关(Relevant),正类⽆关(NonRelevant),负类

falsepositives(FP负类判定为正类,存伪,例⼦中就是

被检索到truepositives(TP正类判定为正类,例⼦中就是正确的判

分明是男⽣却判断为⼥⽣,当下伪娘横⾏,这个错常有⼈

(Retrieved)定这位是⼥⽣)

犯)

未被检索到falsenegatives(FN正类判定为负类,去真,例⼦中就是,分