LOO误差与LOO误差界估计的关系及在MATLAB上的实现.pdfVIP

L00误 差 与 L00误 差 界 估 计 的 关 系 及 在 MA勉 4廖 匕 的 实 现 袁玉萍， 李维屿， 邓廷勇 ( 黑龙江八一农垦 大学理学院数学系 ， 黑龙江大庆1633 19) 摘要：支持向量机是基于统计学 习理论的新一代学习机器 ，本文论述 了L00( Leav e- 0ne 0ut 煨差与L00误差界估计 的 定义及其两者关系；并对每个 问题都给出了在mTLAB上实现的程序 ；通过数值试验表明了L00i 昊差与三个LOO误差界估计 的关系． 关键词：L00误差 ；Loo误差界估计 ；MATLAB；核函数 中图分类号：02 13 文献标识码：A 文章编号：1008—8970一( 2006) 04—0087—02 在支持向量机中，为了找出评价算法的方法，先考察一 该算法根据训练集矸 ⅡT ‘=丁 ＼{( 毛，咒j ) 。得 到的决策函数 ， 下算法优劣的含义。设某算法根据某一训练集得到了决策 则称：焉。( r ) =i 1 ∑c (玉 ，咒，Z．@)) 为该算法对损 失函数c 和训 函数 ／( x ) ，我们关心的是对于另外的输入 ，就是指不是训 练集| T的I ．DO误差，或简称L00为误差。I I {：日vJ L00误差大体 练集中样本 点的输入x ，根据决策函数推断出它所在的类别 上体现了算法推断发生的百分比。 ／’( i ) ，是否与它真正所属的类别y一致。k一折交叉确认 二、LOO误差的估计 ( 尼一f o d cr os s —va i dat i on) 是评价某一算法 的—个方法 ．它 当采用o- 1损失 函数，计算L00误差时，注 意当训练集 首先把，个样本点随机地分成蚧互不相交 的子集 ，即庀一 包含，个样本点时，要计算LOOL吴 ：差 ，需要对包含，一1个样 折s 一，s 2 L．Sz ，每个折 的大小大致相等 。共进行 向欠训练与测 本点的训练集使用，次算法，求出，个决策函数。显然，当 试 ，即对扛1，2 ，L，地行席次迭代 。第z 次迭代 的做法是选择 ，很大时，其工作量是很大的。所 以，有必要放弃精确计算 ·霉为测试集，其余S，L，S- p S小L，瓯的和集为训练集 ，算 L00误差，而用其某个容易计算的估值来代 替它。 法根据训练集求出决策函数后，即可对测试集墨进行测试。 ( 一) Ja akko h- Haus s er _12 界 记其中错误分类的样本点个数为厶觑定迭代完成后，便得到 该上界是针对C一支持向量分类机的． 了 ‘，厶，L，，可 以推想所有尼次迭代 中的错误分类数善 ‘ 算法：( 1) 设已知训练集： 和总样本 点数，之比：善 ‘( 1) i 亥值称为k 一折交叉确认误 T={( 毛，M) ，L，( 西 ，乃) ) ∈{z ×，y ，其中 差 。在实际中，嫦有两科I 取法 ，第—种是取石岛10 ；第二种是 取尼= ，，此时S=( 而，乃) ．，是=( 屯，咒) ，L西=( 西，乃) 每次迭 蕾 ∈zcR”：咒 ∈y={- 1 ，1) ，f =1 ，2，L，，； 代留下一个样本点作为测试点，因此又称为留一法( 1eave— ( 2飚取适当的核函数K( x ，x ’) 和参数c ，求解最优化 one - out ，简称LOO) ，该误差也称为L00误差