对应用统计方法评估核函数分类能力的分析研发.docVIP

应用统计方法综合评估核函数分类能力的研究*) 王 泳1，2 胡包钢1，2 1（中国科学院自动化研究所模式识别国家重点实验室 北京 100190） 2（中国科学院研究生院 北京 100049） 摘　要 文关键词　 1引言 的非线性映射是隐函数，且这些隐函数的类型是多样可变的.所以当人们对特定问题没有任何先验知识的时候，很难确定应该选择哪一类核函数进行计算.虽然利用泰勒级数展开和傅立叶级数展开的方法，已经证明了存在一类最优核，它所对应的特征映射可以确保任意两个不连接的有界闭集在特征空间中线性可分[2]，但如何构造这类最优核至今却还缺乏行之有效的方法.众多学者从不同的角度对核函数选择[3,4]和构造[5-8]问题进行了有益的探讨，但综合性的评估研究仍是缺乏的. 一般说来，核函数的评估指标可以分为两大类：一类来自实际数据的实验验证结果；一类来自理论分析所给出的界.根据统计学习理论，核函数推广能力的强弱与由该函数计算得到的分类超平面集合的VC维（Vapnik-Chervonenkis dimension）相关， VC维，泛化误差和特征空间中训练样本集与超平面的最短距离之间存在以下关系[1] ， （1） 是特征空间中包含所有训练样本的最小超球的半径，是训练样本的个数，是特征空间的维数.因此，VC维越小，函数的推广能力越强.但遗憾的是，目前尚没有关于如何计算任意函数集的复杂性（VC维）以及推广性界的一般性理论，能够得到的只是一些估计值[1,7] .所以在解决实际问题时，通常还是以实际数据的实验验证结果作为核函数评估的数量指标. 根据有限数据的实验验证结果进行分类预测性能评估是机器学习领域的一个存在较多争议的研究领域，这不仅是因为在分类模型预测性能评估体系中存在很多模型评估准则，而且还存在许多不同的模型评估方法（图1）.在实践中，应用k-折交叉验证方法（k-fold Cross-Validation）和准确率准则对分类模型进行预测性能评估是最为常规的方法，但需要注意的是交叉验证技术是一个启发式技术，未必对各种情况都适用[9]，尤其是当确定一个学习模型对某个具体问题的解决是否真的优于另一个学习模型，就需要证明模型之间的这种性能差别不只是评估过程中所产生的偶然结果，这通常是一项给出置信边界的统计实验工作. 图１　分类模型预测性能评估体系 文章的其它章节组织如下：第2节节（其中）随机划分为k个不相交的子集，且每个子集都有个样本点.分类器T要迭代训练k次，每次都用集合中的数据进行训练，而用集合中的数据进行验证.k-折交叉验证估计出的分类器T的泛化误差率是k次验证误差率的平均值.令代表包含样本的子集，代表分类器T对样本进行分类的结果，则k-折交叉验证估计出的分类器T的泛化误差率是： （2） （3） 定理1. 给定样本集D和分类器T，分类器T真实但未知的分类误差率是p，如果在k-折交叉验证中删除D中任意的样本并不影响估计出的分类器T的泛化误差率，则k-折交叉验证评估出的泛化误差率是真实误差率的无偏估计. 证明： 因为删除D中任意的样本并不影响的取值，所以D中样本是从样本空间中随机选取且与T相互独立，所以是满足二项分布的随机变量，因此 证毕 但通常情况下，D中样本有限，因此很难保证分类器T与D相互独立，所以直接将交叉验证估计出的泛化误差率当作模型的真实误差率对模型预测性能进行评估是有误差的，但可以用置信区间（confidence interval）估计的方法对这种误差进行估计.根据中心极限定理，当且时，随机变量可以用，的正态分布近似.所以，为了得到的置信区间，m的最小取值应满足下式： （4） 是标准正态分布右尾被分割出面积的分割点处的z值，是置信区间的宽度. 配对t测试 虽然，增加样本数m可以增加k-折交叉验证的置信度，但这种数量的增加是有限度的.研究表明[13]，单纯增加m会导致交叉验证的渐进有偏.所以，要想保证k-折交叉验证方法的有效性，关键是增加样本集D和分类器T之间的独立性.另外，应用k-折交叉验证对学习模型进行评估仅考察了模型之间的均值差异，模型评估的另一个重要考察指标是模型之间的方差差异[10,11]，这可以用统计学中的配对t测试方法实现[10]. 设第一组样本是学习模型X根据某种性能评估准则在不同的数据集上得到的估计值（所有数据集大小相同，且来源于同一个领域），第二组样本是学习模型Y根据同样的性能评估准则在同样的数据集上得到的估计值，即和是使用相同的数据集产生的，和也是如此，依此类推.第一组样本的平均值用来表示，第二组样本的平均值用来表示，因此学习模型X和Y的比较就是要