基于支持向量机LOO误差估计的研究.pdfVIP

第 11卷 第4期 重庆科技学院学报 自然科学版 2009年 8月 基于支持向量机 LO0误差估计的研究 袁玉萍 邹艳华z 1．黑龙江八一农垦大学，大庆 163319；2．大庆祥阁学校，大庆 163316 摘 要：支持向量机是基于统计学习理论的新一代学习机，在支持向量机方法的基础上，以分类问题为例，对支持向 量机算法评价标准进行 了研究与 比较，论述了LO0误差与 LOO误差界估计 的算法模型，并通过数值试验表 明了参 数的不同取值对 LO0误差与3个 LO0误差界估计的影响。给出LOO误差界中参数选取的一定规律，使其更好地评 价算法的精度 。 关键词 ：LO0误差 ：LO0误差界估计 ；Matlab；核函数 ‘ 中图分类号 ：0234 文献标识码 ：A 文章编号 ：1673—1980 20O9 O4—0164—02 由统计学习理论诱导的支持 向量机是一种强有 相对应的Y值。对该算法进行评价 ，是根据给定 的训 力的学习工具 。它借助最优化方法将机器学习问题 练集求出决策函数f x ，检验该决策函数对训练集 转化为求解最优化问题 。并用最优化理论构造算法 的准确率，即训练集中满足yi f xi 的样本点数所 占 来解决问题。近年来 ，它已成为机器学习领域 的一 总样本点数的百分 比，但此种方法只考虑了经验风 个研究热点，其应用领域从最初的两类分类问题 ，扩 险，具有一定的缺陷。在支持 向量机 中，一折交叉确 展到复杂系统的建模、优化控制[1等 问题 。 认是评价某一算法的一个方法 ，k有两种取法 ．一种 本文讨论基于支持 向量机算法的评价标准 ．以 是取 k 10；第二种是取 k l，此时 S。 l，Y1 ，S2 2， 分类问题为例 。对支持向量机算法评价标准进行研 ，… ， ： ， ， 每次迭代 留下一个样本点作为测试 究与比较 。针对支持向量机结构参数的选取在没有 点，因此又称为留一法 简称 LOO ，该误差也称为 理论支持而选取又 比较困难 的情况下，论述了LOO LOO误差[z-。它首先把Z个样本点随机地分成k个互 1eave—One—Out 误差与LO0误差界估计的算法模 不相交的子集，共进行k次训练与测试，第 i次迭代 型。LOO误差的估计中有不同的参数 ，通过数值试 的做法是 ，选择 Is为测试集 ，其余S 一，．s“，S …， 验表明了参数的不同取值对 LOO误差与 3个 LO0 的和集为训练集 ，根据训练集求出决策函数后 ，即 误差界估计的影响。给出LOO误差界中参数选取 的 可对测试集 s|i进行测试 ，记其中错误分类的样本点 一 定规律，使其更好地评价算法 的精度。 个数为 ，k次迭代完成后 ，便得到了Z。，Z，…，，可以 k 1 支持向量机算法的评价标准与 LOO误差 推想所有 k次迭代 中的错误分类数 和总样本 的估计 i 1 k 1．1 算法的评价标准 点数 z之比为 f，该值称为 一折交叉确认误差。 根据给定的训练集 ： 1 1．2 LOO误差的估计 ，y1 ，…，，yf ∈ y 1 其 中：Xi∈ ， ∈y -1，1 ，i 1，2，…，Z。 当采用 0一l损失函数计算 LO0误差时，注意当 寻找一个从输入空间x R 上 的·个实值 函数 训练集包含 Z个样本点时．要计算 LOO误差 。需要 g ，以便用决策函数 sgn 推断任一模式 对包含Z一1个样本点的训练集使用 Z次算法．求出Z 收稿 日期 ：2009—03—03 基金项 目：黑龙江省教育厅科学技术研究项 目；黑龙江省农垦总局基金项 目 HNKXIVID一023 ；黑龙江省大庆市科 技项 目 SGG2007—058 作者简介 ：袁玉萍 1970一 ，女，山东成武人，硕士，讲师，研究方 向为运筹与优化。 · 164· 袁玉萍 。邹艳华：基于支持向量机LOOW~差估计的研究 个决策函数。显然，当Z很大时，其工作量很大。所以， 2 数值试验 有必要放弃精确计算 LO0误差，而用其某个容易计算 本节使用UCI数据库 中的Iris—data公开数据 的估值来代替它。这里介绍 3个 LO0误差的上界．。 集 ，取其第二、三类样本点数据，并定义第二类的输 1．2．1 Jaakkola—Haussler上界 出为 1，第三类的输出为 一1，作为分类 的原始 该上界是针对 C一支持 向量分类机 [2]。设已知训 训练集。在上式算法 的优化方程中选用高斯径 向基 练集为式 1 ，选取适 当的核 函数 ， 和参数 C， 函数为核函数： ，x~ exp -lJxi--xjII 2 。 求解最优化问题 ： 、 1 取 6 12 表示核 函数 rbf的参数 ，调整 C Z