第05讲 智能决策理论与方法 2.pptVIP

2020 年 6 月 14 日 6 时 34 分 决策理论与方法 - 智能决策理论与方法 机器学习 — 支持向量机 ? 结构化风险最小化与经验风险最小化原则 ? 经验风险最小化原则 考虑分类问题。样本集为 U={x 1 ,x 2 ,...,x l }(m 维空间中的 l 个 向量 ) ，每个向量对应一个类别，类别空间 Y={+1,-1} 。记 p(x,y) 表示对象 x 为 y 类的概率分布。 分类的任务就是寻找 分类器 f ： U→Y 且使期望风险最小。 f 的期望风险为： 在有限样本的情况下， p(x,y) 是未知的，因此期望风险无 法计算。常使用经验风险代替，且当 l→∞ 时两者相等。 dxdy y x p y x f f R ? ? ? ) , ( ) ( ) ( ? ? ? ? l i i i emp y x f l f R 1 ) ( 1 ) ( ) ( ) ( lim f R f R emp l ? ? ? 2020 年 6 月 14 日 6 时 34 分 决策理论与方法 - 智能决策理论与方法 机器学习 — 支持向量机 ? 如果 成立，则称经验风险最小化原则（ Empirical Risk Minimization, ERM ）具有一致性。 ? 结构风险最小化原则 Vapnik 在 1971 年证明经验风险最小值未必收敛于期望风 险最小值，即 ERM 不成立。因此提出了 结构风险最小化 原则 (Structural Risk Minimization, SRM) ， 为小样本统 计理论奠定了基础。 )) ( min( )) ( min( lim f R f R emp l ? ? ? 2020 年 6 月 14 日 6 时 34 分 决策理论与方法 - 智能决策理论与方法 机器学习 — 支持向量机 ? Vapnik 和 Chervonenkis 通过研究，得出了期望风险和 经验风险的如下关系以概率 1- ? 成立，即 l 为样本点数目；参数 0 ??? 1 ； h 为函数 f 的维数，简称 VC 维。 ( 在无法求得期望风险的情形下找到了它的一个上界 ) ? 不等式右边与样本的具体分布无关，即 Vapnik 的统计学 习理论 无需假设样本分布 ， 克服了高维分布对样本点需 求随维数而指数增长的问题 。这是小样本统计理论与经 典统计理论的本质区别，也是将 Vapnik 统计方法称之为 小样本统计理论 的原因。 l h l h f R f R emp ) 4 ln ) 1 2 (ln( ) ( ) ( ? ? ? ? ? VC 维置 信度 2020 年 6 月 14 日 6 时 34 分 决策理论与方法 - 智能决策理论与方法 机器学习 — 支持向量机 ? 讨论 ： (1) 如果 l/h 较大，则期望风险 ( 实际风险 ) 主要由经验风险来 决定，因此对于大样本集经验风险经常能给出较好结果。 (2) 如果比值 l/h 较小 ( 小样本集 ) ，则小的经验风险并不能保 证有小的期望风险值，必须同时考虑 经验风险和置信范 围 ( 称之为 VC 维置信度 ) 。 VC 维在其中起重要作用，实际 上置信范围是 h 的增函数。在样本点数目 l 一定时，分类 器越复杂，即 VC 维越大，则置信范围越大，导致实际风 险与经验风险的差别越大。 结论：要想使实际风险最小不仅要 使经验风险最小 ， 还同 时需要 使分类器函数 f 的 VC 维 h 尽可能最小 ，这就是 结构 风险最小化原则 。因此寻找最小属性集变得非常有意义。 2020 年 6 月 14 日 6 时 34 分 决策理论与方法 - 智能决策理论与方法 机器学习 — 支持向量机 ? 支持向量分类模型 ? 基本分类思想 ：支持向量机的 核心思想 是将 结构风险最 小化原则 引入到分类问题中。从线性可分情况下的 最优 分类超平面 发展而来的，其本质是在训练样本中找出具 有最优分类超平面的 支持向量 。在数学上归结为一个求 解不等式约束条件的 二次规划问题 。 决策理论与方法 —— 智能决策理论与方法 (2) 合肥工业大学管理学院 2020 年 6 月 14 日 2020 年 6 月 14 日 6 时 34 分 决策理论与方法 - 智能决策理论与方法 智能决策理论与方法 1 、智能决策理论的形成背景 2 、知识发现 3 、粗糙集理论 4 、机器学习 2020 年 6 月 14 日 6 时 34 分 决策理论与方法 - 智能决策理论与方法 机器学习 ? 机器学习 是从模拟人类的学习行为出发，研究客观 世界和获取各种知识与技能的一些基本方法（如归 纳、泛化、特化、类比等），并借助于计算机科学 与技术原理建立各种学习模型，从根本上提高计算 机智能和学习能力。 研究内容 是根据生理学