机器学习研究进展培训课件-新版.pptVIP

“泛化误差界”研究的演变 PAC界(Valiant[1984]) VC维界(Blumer[1989]) 最大边缘(Shawe-Taylor[1998]) * 。 最大边缘(Shawe-Taylor[1998]) M0，边缘不能等于零。这意味着，样本集合必须是可划分的。 边缘最大，误差界最小，泛化能力最强。泛化能力可以使用样本集合的边缘刻画。 这个不等式依赖于边缘M。 贡献：给出了有几何直观的界描述，从而为算法设计奠定基础。 * 。 研究趋势 算法的理论研究基本已经完成，根据特定需求的研究可能是必要的 目前主要集中在下述两个问题上： 泛化不等式需要样本集满足独立同分布，这个条件太严厉，可以放宽这个条件？ 如何根据领域需求选择核函数，有基本原则吗？ * 。 集成机器学习的来源 神经科学：Hebb神经细胞工作方式 数学方法：非线性问题的分段化(类似) 计算技术：Widrow的Madaline模型 统计理论：PAC的弱可学习理论 * 。 Ensemble(集成) 1954年，Hebb使用这个单词来说明视觉神经细胞的信息加工方式 假设信息加工是由神经集合体来完成 * 。 Madaline模型 Widrow的Madaline模型 在数学上，其本质是放弃感知机对样本空间划分的超平面需要满足连续且光滑的条件，代之分段的超平面 * 。 Schapire的理论 定理：如果一个概念是弱可学习的，充要条件