ANN_SupportVectorMachines解析.ppt

Support Vector Machines 支持向量机 主要内容 Introduction VC维与SRM 线性支持向量机的求解 非线性支持向量机——核方法 算法归纳 Lagrange Multipliers Learning Machines (学习机器) A machine to learn the mapping Defined as Generalization vs. Learning How a machine learns? Adjusting the parameters so as to partition the pattern (feature) space for classification. How to adjust? Minimize the empirical risk (traditional approaches). What the machine learned? Memorize the patterns it sees? or Memorize the rules it finds for different classes? What does the machine actually learn if it minimizes empirical risk only? 经验风险最小化原则ERM 传统的学习理论主要是基于经验风险最小化原则（ERM）的。 经验风险最小化原则ERM 在训练过程中，输入与输出组成训练样本(x，y)，提供给学习机器。在测试过程中，训练后的学习机器对于输入x给出预测输出 。 a为广义参数（所有参数的集合 ）。 预测输出 可表示为 为损失函数，用来衡量两个变量之间的不一致程度。 经验风险最小化原则ERM 机器学习问题也可以表示为，从一组独立同分布的观测样本出发，通过最小化风险泛函R(a)，确定学习机器的广义参数a的过程。 最小化期望风险R(a)，必须利用联合概率F(x,y)的信息。在实际中，联合分布未知，只有观测样本。转而用算术平均值逼近期望风险。 经验风险最小化原则ERM 由于Remp(a)是用已知的训练样本（经验数据）定义的，因此称为经验风险。 用经验风险Remp(a)最小化来代替期望风险R(a)最小化，来求出学习机器的参数a的方法 ----经验风险最小化原则ERM。 Risks （风险） 经验风险最小化原则ERM 理论表明，当训练数据趋于无穷多时，经验风险收敛于实际风险。因此经验风险最小化原则隐含地使用了训练样本无穷多的假设条件。 复杂度高的学习机器，往往具有较低的经验风险。因此，经验风险最小化原则的结果，将使学习机器变得越来越复杂。 因此，如何根据实际问题，在学习机器的经验风险和模型复杂度之间取得合理的折衷，从而使学习机器具有更高的泛化性能，是非常重要的问题。 经验风险 V.S. 期望风险 如何减少经验风险? 让LM的记忆能力（capacity）足够大？ 经验风险最小化能否导致期望风险最小化? 如何加强LM的泛化能力? 如何解决LM记忆能力有限的问题（折中）? Support Vector Machines The VC Dimension Structure Risk Minimization New Criterion VC维 统计学习理论是关于小样本进行归纳学习的理论，其中一个重要的概念就是VC维（Vapnik-Chervonenkis dimension）。 模式识别方法中VC维的直观定义是：对一个指示函数集，如果存在h个样本能够被函数集里的函数按照所有可能的2h种形式分开，则称函数集能够把h个样本打散(shattered) 。函数集的VC维就是它能打散的最大样本数目h。 若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大。 VC维反映了函数集的学习能力。一般而言，VC维越大则学习机器越复杂，学习容量越大。 一般地，对于n维空间Rn中，最多只能有n个点是线性独立的，因此Rn空间超平面的VC维是n+1。Rn空间中的超平面共有n+1个独立的参数，恰好等于VC维数。 VC维并不直接与参数的个数相关： Vapnik (1995) has an example with 1 parameter and infinite VC dimension. The VC Dimension for Oriented Lines in R2 泛化误差的边界Bound on Expected Risk 统计学习理论从VC维的概念出发，推导出了关于经验风险和实际风险之间关系的重要结论，称作泛化误差的边界。 Remp(a)表示经验风险； Ψ(h/