多元统计分析 第4章 判别分析.ppt

判别函数的评估--混淆矩阵 感兴趣的类定为“正类/阳性类”,对应的为“负类/阴性类” TP (Truly Positve)：预测为正类，实际是正类的情形; FP (Falsely Postive)： 预测为正类，实际是负类的情形; FN (Falsely Negtive)：预测为负类，实际是正类的情形; TN (Truly Negtive)： 预测为负类，实际是负类的情形; 混淆矩阵Confusion Matrix: Actual/Predicted class C1 ? C1 C1 True Positives (TP) False Negatives (FN) ? C1 False Positives (FP) True Negatives (TN) * 准确度或识别率:Accuracy = (TP + TN)/All 误差率: 1 – accuracy Error rate = (FP + FN)/All 查准率（precision）p=TP/(TP+FP) 测试集中被正确分类的正例数量除以测试集中被分类为正例的数据数量。 查全率(recall) r=TP/(TP+FN) 测试集中被正确分类的正例数量除以测试集中实际正例数量 F-score=2pr/(p+r) 查准率和查全率的调和平均值 F-score更接近于p,r两个数种较小的那个 A\P C ?C C TP FN P ?C FP TN N P’ N’ All * 判别函数的评估--混淆矩阵 ############################################### # Assess performance of the prediction method # ############################################### # predict group membership of each observation using the discriminant # function that we found: group - predict(dis, method=plug-in)$class group # compare to true group membership: Type # tabulate the results: table(group, Type) # misclassification rate: (3+3)/n # better method: leave-one-out predictions - array(NA, n) for (i in 1:n){ dat - Tibet[-i,] dis - lda(Type ~ Length+Breadth+Height+Fheight+Fbreadth, data=dat, prior=c(0.5,0.5)) predictions[i] - predict(dis, newdata=Tibet[i,c(1:5)])$class } # results: predictions # compare to true group memberships: Type # tabulate results: table(predictions, Type) # misclassification rate: (6+5)/n * * R code # Create sample history matrix with 100 entries X - matrix(rnorm(1000),100,10) # Create sample test matrix Xtest - matrix(rnorm(10),10,1) # Calculate the Mahalanobis distances Sigma - cov(X) SInv - solve(Sigma) di - rep(0, nrow(X)) for (i in 1:length(di)) { di[i] - sqrt(t(Xtest-X[i,]) %*% SInv %*% (Xtest-X[i,])) } which.min(di) 第三节 贝叶斯(Bayes)判别法 一 Bayes判别的基本思想 二 Bayes判别的基本方法 贝叶斯(Bayes)判别法 距离判别法简单,便于使用 距离判别方法的不足之处： 判别方法与总体各自出现的概率的大小无关 判别方法与错判之后所造成的损失无关 Bayes判别方法有效地解决了上述问题 Bayes判别的基本思想 Bayes判别的基本思想 Ba