分类算法小结.ppt

最小风险决策的一般性 ? 基于 最小错误率 的 Bayes 决策可作为 最 小风险 Bayes 决策的一种特殊情形。 ? 只需要定义损失为： ? i , j ? 1 ? ? ( i , j ) i , j ? 1, 2, ? 1 ? ( i , j ) ? ? ? 0 i ? j i ? j , N 决策正确时，损失为 0 决策错误时，损失为 1 支持向量机 所要研究的问题： 支持向量机 (Support Vector Machine) 是 Vapnik 等人于 1995 年在 统计学习理论（ Statistical Learning Theory ） 的 基础上提出来的。它以在解决小样本、非线性及高维模式识 别中表现出许多特有的优势，并能够推广应用到 函数拟合 等 其他机器学习问题中。 统计学习理论 （ Statistical Learning Theory ） 传统统计学： 渐进理论，即当样本数量趋向于无穷大时的极限特性。 统计学习理论： 目前针对小样本统计估计和预测学习的最佳理论。 核心问题： (1) 经验风险最小化原则下统计学习一致性的条件。 (2) 在这些条件下关于统计学习方法推广性的界的确定。 (3) 在这些界的基础上建立的小样本归纳推理