[自然科学]支持向量机.pdf

统计学习理论与支持向量机 统计学习理论与支持向量机 李钢 机器学习与认知实验室 南京师范大学教育科学学院 统计学习理论与支持向量机 2006.12.07 1 提纲 1.概述 2.机器学习问题与方法 3.统计学习理论 4.支持向量机 统计学习理论与支持向量机 2006.12.07 2 1.概述 统计学习理论与支持向量机 2006.12.07 3 概述 学习理论的发展(四个阶段) ： • 第一个学习机器的创立，20世纪60年代。 1958年，Rosenblatt 的感知器，标志着人们对学习过程进行数 学研究的真正开始。 • 学习理论基础的创立，20世纪60-70年代。 Madaline 自适应学习机，决策树，马尔可夫模型，只为解决现 实问题，并没有对一般的学习问题进行研究。 “ 从构造感知器(60)年到实现后向传播算法(86年)里并没有什么 特别的事情发生，与此形成对比的是，统计学习理论的发展确实 硕果累累。”《统计学习理论的本质》 这一阶段的特点：解决现实问题 统计学习理论与支持向量机 2006.12.07 4 概述 学习理论的发展(续) ： • 神经网络，20世纪80年代。 1986年，后向传播方法提出，感知器改称为“神经网络”， 机器学习的目标改为利用大脑来推广的模型，对学习问题减少了 一般性，增加了主观色彩。 “ 当然研究人的学习是很有意义的，但这并不是建立人工学 习机器的最佳途径，正如人们对鸟类如何飞行的研究实际上对建 造飞机并没有多大帮助” 从BP网络至今，神经网络并没有从本质上推进学习过程本质 的认识。 这一阶段的特点：模拟人的大脑 统计学习理论与支持向量机 2006.12.07 5 概述 学习理论的发展(续) ： • 回到起点(统计学习理论)90年代— 至今 “ 看起来好像所有事情都开始迫本湖源。而且，统计学习理论 现在扮演的是一个更积极的角色：在完成了学习过程的一般 分析后，已经开始丁关于(对任意数目的观测能得到最高的推 广能力)最优算法合成的研究。” 这一阶段的特点：对一般学习过程的分析，即希望能通过 严格的数学推理找到机器学习问题的关键所在。 统计学习理论与支持向量机 2006.12.07 6 概述 统计学习理论创始人之一，SVM的发明者： 致力与统计学习理论 四十余年！ 统计学习理论创始人之一， Vapnik合作者： 统计学习理论与支持向量机 2006.12.07 7 概述 团队 The Computer Learning Research Centre is a world-class research centre dedicated to the development of machine learning theory. http://www.clrc.rhul.ac.uk/ 统计学习理