基于微分容量控制的学习机.pdfVIP

基于微分容量控制的学习机 张 莉 9 周伟达 9 焦李成 ( 西安电子科技大学雷达信号处理重点实验室 9 陕西西安 71OO71) 摘 要 : 本文通过对函数集容量的分析 9 得出用函数的微分来控制函数集容量的学习方法 O 该方法不仅能用支 撑矢量核函数而且可以采用其他的函数作为基函数 O 基于样本的机器学习 9 要求学习机在容量控制和过拟合之间取一 个折衷 9 从而保证学习机的推广能力和误差精度 O 本文通过在微分容量控制和最小化经验误差之间作一个折衷 9 提出 基于微分容量控制的学习机 O 仿真实验验证了我们的学习机具有良好的推广能力 O 关键词 : 机器学习 ; 支撑矢量机 ; 容量控制 ; 模式识别 ; 回归估计 中图分类号 : TP 391O 4 文献标识码 : A 文章编号 : O372-2112 ( 2OO3) 1O-1526-O6 Lear n i ng Mach i ne Based On D i f fer en t i aI Capaci ty COn t r OI Z~ANG Li 9 Z~0 U Wei da 9 JIA0 Li cheng ( Natzonal Key LaZ O fo7 Rada7 szgnal P7oCesszng 9 Xzdzan Unz e7szty 9 Xz an 9 shaanxz 71OO719 Chzna ) Abst r act : A dif f erential methOd fOr capacity cOntrOl iS preSented baSed On the analySiS Of the capacity Of learning machineS O 0 ur methOd that can be applicable tO the Set Of nOnlinear hypOtheSiS functiOnS aS Well aS the Set Of linear OneS generaliZeS the theOry abOu t the capacity cOntrOl Of SVMS O A neW learning machine iS prOpOSed baSed On dif f erential capacity cOntrOl methOd O In Our learning machine 9 a gOOd generaliZatiOn perfOrmance can be Obtained by the right balance Struck betWeen the emp ir ical r iSk and the dif f erential Of the Set Of hypOtheSiS functiOnS that cOntrOlS the machine capacity O Simu latiOn reSu ltS ShOW the feaSib ility Of Our learning machine O Key WOrds : learning machine ; SuppOrt VectOr machineS ; capacity cOntrOl ; pattern recOgnitiOn ; regreSSiOn eStimatiOn 引言 基于有限样本的机器学习 9 其推广能力和学习精度是一 个两难问题 1~ 4] O 通常情况下 9 过高的学习精度会导致推广能 力 的下降 9 这就是所 谓 的 过 拟 合 ( OVerf itting ) 问 题 O 支 撑 矢 量 机引入结构风险最小化准则的思想 9 实现了学习精度和机器 容量之间的折衷 9 较 好 地 解 决 了 这 一 问 题 1~ 39596] O 然 而 9 支 撑 矢量机的容量控制是对 VC 维数 进 行 控 制 9 其 推 广 能 力 的 界 是 建 立 在 VC 维 数 的 基 础 上 ( 即 是 构 造 性 的 与 分 布 无 关 的 界 ) O 本文提出了一种基于微分容量控制的学习机 9 其 推 广 能 力的界是依赖于分布的界 9 容量控制体现在对函数微分的控 制上 O 该学习机可以用任意一阶可微假设函数集作为待估计 函数的目标函数集 9 若函数集取线性函数集 9 此时的学习机就 是线性支撑矢量机 O 我们从函数集容量概念上定性地说明了 用假设函数集的微分来控制学习机的容量的可行性 O 仿真实 验的结果说明了该学习机无论采用 Mercer 核函数还是 采 用 其他的假设函数集都能够得到较好的推广能力 O 收稿日期 : 2OO1 11 13; 修回日期 : 2OO2 O6 O9 基金项目 : 国家自然科学基金 ( NO O 6OO