AI-CH7人工智能引论.pdfVIP

Artificial Intelligence 课件下载 /share/1182895 验证码：310027 通知发布 /weblog/myao 第七章支持向量机 引论 统计学习理论（SLT） 支持向量机（SVM） 引 论 统计学习问题是广义问题的特例，是基于数 据的机器学习问题； 统计学习是我们面对数据而又缺乏理论模型 时最基本的分析手段； STL SVM的数学基础 概率论与数理统计 泛函分析 基本信念 传统的估计高维函数依赖关系的方法所坚持 的信念—— 实际问题中总存在较少数目的一 些“强特征”，用它们的简单函数（如线性 组合）就能较好地逼近未知函数。因此，需 要仔细地选择一个低维的特征空间，在这个 空间中用常规的统计技术来求解一个逼近。 STLSVM所坚持的信念—— 实际问题中存 在较大数目的一些“弱特征”，它们“巧妙 的”线性组合可较好地逼近未知的依赖关系。 因此，采用什么样的“弱特征”并不十分重 要，而形成“巧妙的”线性组合更为重要。 与传统方法的区别 要较好地实现传统方法，需要人工选择（构 造）一些数目相对较少的“巧妙的特征” SVM方法则是自动地选择（构造）一些数 目较少的“巧妙的特征” 在实际应用中，可通过构造两层（或多层） SVM来选择“巧妙的特征” 多模型 结构风险最小化（SRM）模型 数据压缩模型 构造复合特征的一个通用模型 对实际数据的一种模型 基本概念 统计方法—— 从观测自然现象或者专门安排 的实验所得到的数据去推断该事务可能的规律 性。 基本概念 统计方法处理过程可以分为三个阶段： （1）搜集数据：采样、实验设计 （2）分析数据：建模、知识发现、可视化 （3）进行推理：预测、分类 常见的统计方法有: 回归分析 （多元回归、自回归等） 判别分析 （贝叶斯判别、费歇尔判别、非参数判别等） 聚类分析 （系统聚类、动态聚类等） 探索性分析 （主元分析法、相关分析法等）等。 基本概念 统计学习理论—— 在研究小样本统计估计和 预测的过程中发展起来的一种新兴理论。 【注意】：这里所说的小样本是相对于无穷样本 而言的，故只要样本数不是无穷，都可称为小 样本。 基本概念 机器学习 —— 主要研究从采集样本出发得出 目前尚不能通过原理分析得到的规律,并利用 这些规律对未来数据或无法观测的数据进行预 测。 模式识别 —— 对表征事务或现象的各种形式 (数值、文字及逻辑关系等)的信息进行处理和 分析, 以对事务或现象进行描述、辨认、分类 和解释的过程。 统计学习理论 —— 一种研究小样本估计和预 测的理论. 发展简史 近百年来，统计学得到极大的发展。我们可用下 面的框架粗略地刻划统计学发展的过程： • 1900-1920 数据描述 • 1920-1940 统计模型的曙光 • 1940-1960 数理统计时代 – 随机模型假设的挑战 – 松弛结构模型假设 • 1990-1999 建模复杂的数据结构 发展简史 学习过程的数学研究——F. Rosenblatt于1957