评价模型性能的指标.docxVIP

— PAGE \* Arabic 1 — 评价模型性能的指标 评价模型性能的指标有很多，目前应用最广泛的有准确度，灵敏度，特异性，马修相关系数。首先我们定义以下参数。  表2.1 预测结果的参数定义  符号 名称  描述  TP True position,真阳性 表示阳性样本经过正确分类之后被判为阳性 TN True negative,真阴性 表示阴性样本经过正确分类之后被判为阴性 FP False position,假阳性 表示阴性样本经过错误分类之后被判为阳性 FN  False negative,假阴性  表示阳性样本经过错误分类之后被判为阴性   1.准确度：TP TN  accuracy TP FP TN FN +=  +++  准确度表示算法对真阳性和真阴性样本分类的正确性 2.灵敏度： TP  sencitivity TP FN  =  +  灵敏度表示在分类为阳性的数据中算法对真阳性样本分类的准确度，灵敏度越大表示分类算法对真阳性样本分类越准确。即被正确预测的部分所占比例。  3.特异性：TN  specificity TN FP  =  +  特异性表示在分类为阴性的数据中算法对阴性样本分类的准确度，特异性越大表示分类算法对真阴性样本分类越准确。  4.马修相关系数：  MCC =    马修相关系数表示算法结果的可靠性，其值范围为[]1,1?+，当FP 和FN 全为0时，MCC 为1，表示分类的结果完全正确；当TP 和TN 全为0时，MCC 值为－1，表示分类的结果完全错误。   ROC 曲线指受试者工作特征曲线 / 接收器操作特性曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、（1‐特异性）为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。在ROC 曲线上，最靠近坐标图左上方的点为敏感性和特异性均较高的临界值。  ROC 曲线的例子  考虑一个二分问题，即将实例分成正类（positive）或负类（negative）。对一个二分问题来说，会出现四种情况。如果一个实例是正类并且也被 预测成正类，即为真正类（True positive）,如果实例是负类被预测成正类，称之为假正类（False positive）。相应地，如果实例是负类被预测成负类，称之为真负类（True negative）,正类被预测成负类则为假负类（false negative）。  TP：正确肯定的数目；  FN：漏报，没有正确找到的匹配的数目；  FP：误报，给出的匹配是不正确的；  TN：正确拒绝的非匹配对数；   列联表如下表所示，1代表正类，0代表负类。   预测  1 0 合计  实际 1 True Positive（TP） False Negative（FN）  Actual  Positive(TP+FN)  0 False Positive（FP) True Negative(TN) Actual Negative(FP+TN)  合计  Predicted  Positive(TP+FP)  Predicted  Negative(FN+TN)  TP+FP+FN+TN  从列联表引入两个新名词。其一是真正类率(true positive rate ,TPR), 计算公式为  TPR=TP/ (TP+ FN)，刻画的是分类器所识别出的 正实例占所有正实例的比例。另  外一个是负正类率(false positive rate, FPR),计算公式为FPR= FP / (FP + TN)，计算的  是分类器错认为正类的负实例占所有负实例的比例。还有一个真负类率（True Negative Rate，TNR），也称为specificity,计算公式为TNR=TN/ (FP+ TN) = 1‐FPR。   其中，两列True matches和True non‐match分别代表应该匹配上和不应该匹配上  的  两行Pred matches和P