集异壁之大成支持向量机.pdfVIP

集异壁之大成：支持向量机 Nothing is more practical than a good theory——Vapnik 胡光能 hugn@ 1 引子：统计学习理论与支持向量机 • Theory Practical • Vapnik等人提出的一种小样本统计学。认为在 观测的基础上估计依赖关系只要知道未知依赖 关系所属的函数集的一般性质（如VC维）；依 赖关系的估计就是基于经验数据的函数估计 • “Nothing is more practical than a good theory” • 科学理论的三要素：（Kant） – 问题的表示（问题本质） – 问题的解决（基本原理） – 证明（模型成为理论） 2 目录 • 缘起：从数据中学习 • 九层之台起于垒土：线性学习器 • 苦其心志：核函数 • 劳其筋骨：泛化理论 • 饿其体肤：优化理论 • 降大任于是人：支持向量机 • 降妖伏魔：算法实现 • 大显身手：实际应用 3 信用评级 问题： 未知的依赖关系f 根据信用评 级的历史数 据预测一个 用户是否是 信用良好的 条件： • 数据集 • 假设集 • 学习算法 依赖关系的估计g 4 从数据中学习：哲学 • 归纳推理：经验科学从单称（特殊）陈述例如 观察和实验结果过渡到全称（一般）陈述例如 假说或理论的推理叫做归纳推理。 • Popper，1959年 《科学发现的逻辑》，书中道： 科学与非科学的划界不是证实而是证伪；除非 有先验知识否则纯归纳是不可能的 • Vapnik运用可证伪理论证明ERM归纳原则的一致性 • Mitchell运用归纳偏置使归纳推理充分地由演绎推 理来论证 科学哲学指导统计学习理论、机器学习 5 机器学习，Mitchell，2.7节归纳偏置 统计学——最小二乘回归 • 回归问题比分类问题 古老：Gauss，1809 年 《天体运动论》为 计算谷神星轨道问题 提出了LS线性插值 历史注记： • 勒让德1806年 独立发现最小 二乘法 L w b y =−