ROC分析.ppt

* * * * * * * 宇传华（yuchua@163.com)November 30，2010 ROC【receiver operating characteristic】，译为“接收者工作特征”，二战时期用于表示信号检测特性时创造的术语。 ROC曲线研究历史 1950’s 雷达信号观测能力评价 1960’s中期 实验心理学、心理物理学 1970’s末与1980’s 诊断医学 ROC的涵义与起源 ROC曲线是显示分类模型真阳率（灵敏度）和假阳率（虚警率）之关系的一种图形化方法，ROC曲线可以用于全面评价一个分类器。 考虑一个二分问题，即将实例分成正类（positive）或负类（negative）。对一个二分问题来说，会出现四种情况。如果一个实例是正类并且也被预测成正类，即为真阳类（True positive）,如果实例是负类被预测成正类，称之为假阳类（False positive） ROC曲线评价诊断试验的重要性 所谓“金标准”是指当前临床医学界公认的诊断疾病的最可靠、最准确、最好的诊断方法. 临床上常用的金标准有组织病理学检查（活检、尸检）、手术发现、影像诊断（CT、核磁共振、彩色B 超）、病原体的分离培养以及长期随访所得的结论。金标准一般是特异性诊断方法，可以正确区分为“有病”和“无病” True Positive Rate , TPR 或灵敏度（sensitivity） TPR = TP /（TP + FN） 正样本预测结果数 /实际正样本数  False Negative Rate , FNR 或漏诊率、漏报率FNR = FN /（TP + FN） 被预测为负的正样本结果数 /实际正样本数  False Positive Rate , FPR 或误诊率/虚警率FPR = FP /（FP + TN） 被预测为正的负样本结果数 /实际负样本数  True Negative Rate , TNR 或特异度（specificity） TNR = TN /（TN + FP） 负样本预测结果数 /实际负样本数  诊断试验中常用的评价指标 例13.2 表13.2 ECG诊断试验的结果 ECG诊断结果 实际状态 合 计 出现心梗 不出现 阳 性 阴 性 合计 416(TP) 9（FP） 425 104(FN) 171（TN） 275 520 180 700(N) 例13.2 表13.2 ECG诊断试验的结果 ECG诊断结果 实际状态 合 计 出现心梗 不出现 阳 性 阴 性 合计 416(TP) 9（FP） 425 104(FN) 171（TN） 275 520 180 700(N) 例13.2 表13.2 ECG诊断试验的结果 ECG诊断结果 实际状态 合 计 出现心梗 不出现 阳 性 阴 性 合计 416(TP) 9（FP） 425 104(FN) 171（TN） 275 520 180 700(N) 例13.2 表13.2 ECG诊断试验的结果 ECG诊断结果 实际状态 合 计 出现心梗 不出现 阳 性 阴 性 合计 416(TP) 9（FP） 425 104(FN) 171（TN） 275 520 180 700(N) ECG诊断结果 实际状态 合 计 出现心梗 不出现 阳 性 阴 性 合计 416(TP) 9（FP） 425 104(FN) 171（TN） 275 520 180 700(N) 医生最关心的问题： 1. 试验阳性时患病的概率多大？ 2. 试验阴性时不患病的概率多大？ 3. 如何选择合适的诊断界值，做出合理的诊断，使患者获得最好的处理 在进行诊断临界点选择的时候，需要综合考虑灵敏度和特异度，选择最佳诊断界值。ROC曲线提供了很好的临界点选择工具。 灵敏度,特异度,假阴性率,假阳性率 Test variable 主要任务： 计算ROC曲线工作点（Coordinate point或Operating point）（FPR, TPR） 连接相邻两点 ROC曲线工作点的计算与曲线绘制 连续型数据的ROC曲线工作点（TPR，FPR）计算 将这9个数据从大到小排列，以前8个数，分别作为诊断界值，大于等于诊断界值者判为阳性，小于该值者判为阴性。这样，可整理成8个四格表 表13－3 假想的连续型数据 有序分类数据的ROC曲线工作点（TPR，FPR）计算 将诊断分类数据按大到小排序，以前4个分类作为诊断界值，大于等于诊断界值者为阳性，小于该