(48)--模式识别系统的评价.pdfVIP

Ø监督模式识别中错误率的估计方法

Ø监督模式识别中的交叉验证及自举法

Ø影响分离器性能估计的其它因素

Ø非监督模式识别系统性能的评价

监督模式识别中

错误率的估计方法

【问题的提出】

贝叶斯决策哪一个算法才是“最好”的呢?

感知器算法

K近邻法

决策树

任何一种模式识别算法具有“与生俱来”的优越性！

•只有了解了问题的具体类型、先验分布情况、以及其他一些信息，

才能确定哪种形式的分类器将提供最好的性能。

•在实际应用当中，一般是无法事先知道数据分布的“正确”的模型

的，因此，就需要根据数据对各种方法的应用效果进行评价。

【错误率的作用】

•监督模式识别有确定的分类目标，

，并且希望这种划分相对于样本真实所属

的类别来说错误率尽可能小。

•错误率也反映了分类器的推广能力的好坏

•人们更多会采用实验方法来估计分类器的错误率。

【错误率的估计方法】

1.训练错误率

•分类器设计完成后，用分类器对全部训练样本进行分类，统计其中分

类错误的样本占总样本数的比例，用这个比例作为错误率的估计，这

个错误率叫做训练错误率。

•训练错误率实际上并不能忠实地反映分类器在未来样本上的表现，也

就是不能反映分类器的推广能力。

•在实际应用中,虽然人们一般不把训练错误率当作评价分类器的指标。

2.测试错误率

•用测试集数据来估计分类器性能，这样得到的错误率估计叫

做测试错误率

•假定测试集中有N个样本,直观上可以用测试集中被分错的样

本在N中的比例作为测试错误率。

•这种估计有理论依据吗?估计量的性质如何?测试集的样本数

目是否影响估计的准确性?

1）先验概率P(w),P(w)未知随机抽样

12

•假如对N个样本进行考试,结果错分了k个,k是一个离散随机变量,用ε表示真

^



实错误率,用表示ε的最大似然估计:

^k



^N

其期望：E()

^(1)

方差：Var[]

N

•在对置信区间进行分析的时候发现，考试样本数N越多,则估计出的错误

率ε的置信区间越小。

2）先验概率P(w1),P(w2)已知选择性抽样

•用ε作为w类的真实错误率，利用同样的方法可以得到ε的最大似

iii

然估计为：

^k

ii,i1,2

N

i

^2^

•总的错误率估计为：P(w)