关于模型选择成绩的子空间信息准则.pdfVIP

摘要 近年来，模型选择问题引起人们很大的兴趣．在监督学习中，模型选择的好 坏直接影响学习算法的推广能力．如果所选择的模型过于复杂，就会出现过学 习(over矗tting)现象；相反，如果模型过于简单，则会出现欠学习(under矗t廿ng) 现象． 对于小规模样本集(实际问题总是小规模样本集的问题)，监督学习的目 标是在给定的函数集中挑选一个最优的逼近函数，从而最小化推广误差．对 此，vapnik在文献|53】中提出了选择这样函数集的原则，即结构风险最小化 (SRM)原则．该原则为给定函数集提供一个容许结构，然后在整个给定的结 构元素上找到最小化保证风险的函数． 上世纪下半叶，人们从各种观点出发，提出了很多模型选择原则．其中以 A嫡ke等人提出的两种模型选择原则较为流行。 A1【aike信息准则(AIc)【17] 8】．后来，从泛函分析的角度出发， su百y锄a 和Ba辨sian信息准则(BIc)[1 7]． 和Ogawa又提出了一种新的模型选择准则，即子空间信息准则(sIc)[2 SIC所考虑的训练样本是基于fo，11上样本点的一个均匀分布，零均值和 不同方差值的正态分布噪声得到的．它用所选取的函数与真实函数之间的均 方差来估计性能． SIC的优势在于它是推广误差的一种无偏估计，实验证明 依SIC思想选择的模型得到的学习算法具有很好的推广能力． 本文分五个部分讨论了模型选择的子空间信息准则问题． 第一部分，主要介绍了学习问题及本文的研究背景． 第二部分，首先介绍模型的概念，接着回顾一些经典的模型选择原则， 主要介绍的有三个t结构风险最小化原则(sRM)，A姒ke信息准则(舡c)和 Bayesian信息准则(BIC)． 第三部分，讨论本文的主要内容，即解决模型选择问题的子空间信息准则 fsIc)．在介绍SIC的定义以后，把该方法推广到无限维的假设空间上；并且 还对SIC进行扰动分析，最后对SIC的一些不足之处进行改善，从而提高该 方法的精度． 1ll 第四部分，我们将SIe应用到学习问题的一些重要模型中，这其中包括 在再生核Hilbert空间上，应用SIC选择逼近函数中模型参数．在找到相关的 无偏学习算子后，证明了用于选择模型的sIC是关于学习结果的推广误差的 一种无偏估计，同时说明学习算法有较好的推广熊力．进一步探讨了SIC的 应用前景． 第五部分，我们对SIc和解决模型选择问题的其他方法进行了比较，同 时对本文所介绍的子空间信息准则(SIG)的前景进行估计和分析． 关键词 模型选择；推广能力i子空间信息准则；无偏估计；学习矩阵 Abstract Inrecent areinterestedinthemodeIselectioⅡ ye锄，m唧people greatly In ofmDdel8electionin丑uences problemssuperVised1e缸血g，thequality 0f themodeli8too directlygeneraUzationcapabilityle盯ning址gorithm．If the jf may印pe跗thephenomenonof’over丘tting’；oncontram complex，it themoddi8too phenomenon simple，itm8y“ppe跗the of’under丘ttiⅡg’． scale