数据挖掘模模型评价.ppt

数据挖掘模型讦佑 2019/5/12  评估分类法的准确率 评估分类法准确率的技术有保持( holdout)和k 折交叉确认(k- fold cross- validation)方法。 ≯另外,还有两种提供分类法准确率的策略:装袋 ( bagging)和推进( boosting)。 1、保持和k-折交叉 ①在保持方法中,给定数据随机划分成两个独立 的集合:训练集和测试集。通常,三分之二的数 据分配到训练集,其余三分之一分配到训练集  “保持”这种评估方法是保守的,因为只有 部分初始数据用于导出的分类法 随机子选样是“保持”方法的一种变形,它将 “保持”方法重复k次。总体准确率估计取每次 迭代准确率的平均值 导出分 评估 调练集 类法 精度 数, 测试集  ②K—折交叉确认 在k S1 测试集 valid 不相 数据 致相 训练集 第 所用 类法 ◇准确率估计是k次迭代正确分类数除以初始 数据中的样本总数  2、提高分类法的准确率 ①装袋 CK(x)= maxent, c(x) C(X c(x) train train train 可以是连续值的预测  ②推进 C c*(x)=argmaxem og(1/ clc(xC c(x) CT train train train S, wI S W  灵敏性和特效性度量 ◇假定你已经训练了一个分类法,将医疗数 据分类为“ cancer”或“ non cancel 90%的准确率使得该分类法看上去相当准 确,但是如果实际只有3-4%的训练样本 是“ cancer”会怎么样? ◇显然,90%的准确率是不能接受的——该 分类法只能正确的标记“ non cancer”( 称作负样本)样本。但我们希望评估该分 类能够识别“ cancer”(称作正样本)的 凊况 2019/5/12  ◇为此,除用准确率评价分类模型外,还 需要使用灵敏性( sensitivity)和特效性 ( specificity)度量。 ◆还可以使用精度( precision)来度量, 即评估标记为“ cancer”,实际是 “ cancer”的样本百分比。  灵敏性 特效性 O sensitivity pecificity pos pos 精度 percision (t pos+f_pe accuracy= sensitivity pos_specifici(Pos +neg) (pos+neg) ◆其中,tpos是真正样本(被正确地按此分类的 “ cancer”样本)数,pos是正(“ cancer”)样本 ◆tneg是真负样本(被正确地按此分类的 “ non cancer”样本)数,neg是负( non cancer”)样本数, 今而fpos假正样本(被错误地标记为“ cancer”的  预测值 1(实际 0(实际 cancer”) no cancer) 1(预测“ cancer 0 0 0(预测 10 90 no cancer”) sensitivity spection pos neg 00S 0 (t pos+f_ pos) pos accuracy= sensitivity + specificity neg (pos +neg) (pos +neg)