机器学习复习总结.pdfVIP

第一章 基本设计方法和学习途径 选择训练经验 选择目标函数 选择目标函数的表示 选择函数逼近算法 最终设计 选择训练经验 第一个关键属性，训练经验能否为系统的决策提供直接或间接的反馈 第二个重要属性，学习器在多大程度上控制样例序列 第三个重要属性， 训练样例的分布能多好地表示实例分布， 通过样例来衡量最终系统的性能 最终设计 执行系统 用学会的目标函数来解决给定的任务 鉴定器 以对弈的路线或历史记录作为输入，输出目标函数的一系列训练样例。 泛化器 以训练样例为输入，产生一个输出假设，作为它对目标函数的估计。 实验生成器 以当前的假设作为输入，输出一个新的问题，供执行系统去探索。 第二章 一致，满足，覆盖的定义： 一致 ：一个假设 h 与训练样例集合 D 一致，当且仅当对 D 中每一个样例 x,c(x) 都有 h(x)=c(x) ，即 Consistent(h,D) ( x,c(x) D)h(x)=c(x) 一个样例 x 在 h （x ）=1 时称为 满足 假设 h，无论 x 是目标概念的正例还是反例。 当一假设能正确划分一个正例时，称该假设 覆盖 该正例。 变型空间（ version space ）： 与训练样例一致的所有假设组成的集合，表示了目标概念的所 有合理的变型， VS H,D={h H|Consistent(h,D)} 第三章 决策树适用问题的特征： 实例由 “属性 -值 ”对 (pair) 表示 目标函数具有离散的输出值 可能需要析取的描述 训练数据可以包含错误 训练数据可以包含缺少属性值的实例 ID3 算法特点： 搜索完整的假设空间（也就是说，决策树空间能够表示定义在离散实例上的任何离 散值函数） 从根向下推断决策树，为每个要加入树的新决策分支贪婪地选择最佳的属性。 归纳偏置，优先选择较小的树 观察 ID3 的搜索空间和搜索策略，认识到这个算法的优势和不足 假设空间包含所有的决策树，它是关于现有属性的有限离散值函数的一个完整空间 维护单一的当前假设（不同于第二章的变型空间候选消除算法） 不进行回溯，可能收敛到局部最优 每一步使用所有的训练样例，不同于基于单独的训练样例递增作出决定，容错性增强 ID3 和候选消除算法的比较 ID3 的搜索范围是一个完整的假设空间，但不彻底地搜索这个空间 候选消除算法的搜索范围是不完整的假设空间，但彻底地搜索这个空间 ID3 的归纳偏置完全是搜索策略排序假设的结果，来自搜索策略 候选消除算法完全是假设表示的表达能力的结果，来自对搜索空间的定义 精选文库 过度拟合： 对于一个假设， 当存在其他的假设对训练样例的拟合比它差， 但事实上在实例的整个分布上 表现得却更好时，我们说这个假设过度拟合训练样例 定义 ：给定一个假设空间 H ，一个假设 h H ，如果存在其他的假设 h’ H ，使得在训练样例 上 h 的错误率比 h’小，但在整个实例分布上 h’的错误率比 h 小，那么就说假设 h 过度拟合 训练数据 导致过度拟合的原因 1.一种可能原因是训练样例含有随机错误或噪声 2.特别是当少量的样例被关联到叶子节点时，很可能出现巧合的规律性，使得一些属性恰巧 可以很好地分割样例，但却与实际的目标函数并无关系 避免过度拟合的方法 特点 及早停止树增长 精确地估计何时停止树增长 后修剪法 被证明在实践中更成功 避免过度拟合的关键： 使用什么样的准则来确定最终正确树的规模， 解决这个问题的方法有： 训练和验证集法 可用数据分成两个样例集合： 训练集合，形成学习到的假设 验证集合，评估这个假设在后续数据上的精度 方法的动机： 即使学习器可能会被训练集合误导，