第九章 独立于算法的机器学习.pptVIP

独立于算法的机器学习 刘芳，戚玉涛 qi_yutao@163.com 引言 第二章 Bayesian决策 第三章 参数密度估计 第四章 非参数密度估计 第五章 线性判决函数 第六章 神经网络方法 第七章 随机方法 第八章 决策树 引言 物理学领域：能量守恒定律，电荷守恒定律，动量矩守恒定律，热力学定律…… 在模式识别领域，是否存在类似的不依赖于特定分类器和学习算法选择的普适定理？ 无论设计者如何聪明，无论模式的数量和分布如何，无论分类任务的本质如何都成立！ 分类器正确率的理论上界 —— 贝叶斯误差率 再追加计算量换取精度是否值得 帮助改进设计分类器 引言 本章要探讨的内容：对分类器设计具有普遍指导意义的基本原理和基本性质。 “独立于算法的机器学习”的含义： 不依赖于所采用的特定分类器和特定算法的原理和性质。如：“偏差”“方差” 一些可以与不同的学习算法组合使用的技术。如：“交叉验证”“重采样”技术 是否存在一个与具体应用无关的，普遍适用的“最优分类器” ？若不存在，对于哪一类问题采用哪一种分类器？ 独立于算法的机器学习 没有天生优越的分类器 没有免费的午餐定理 丑小鸭定理 最小描述长度定理 避免过拟合与Occam剃刀原理 偏差与方差 重采样技术 没有天生优越的分类器 问题： 在推广能力评价标准下，是否有理由认为一个分类器比另一个分类器更好？ 如果对具体的分类问题不作任何先验