周雄辉-人工智能-支持向量机.pptVIP

第六章 支持向量机;§1 引言;二. SVM的应用 数据与文本分类 系统建模及预测 模式识别(图像及语音识别，生物特征识别) 异常检测(入侵检测，故障诊断) 时间序列预测 ;§2 统计学习理论;二.期望风险与实验风险 期望风险最小化 其中 x, y的联合概率 P(x, y) 是未知的 实验风险最小化 实验风险是由在训练集上测得的平均误差所确定的 如果训练样本的个数是有限的,则实验风险最小化的方法不保证有高推广能力 ;三. VC理论 VC (Vapnik-Chervonenkis)维数 分类函数 的集合F的VC维数 p=VCdim(F) 定义 (Vapnik–Chervonenkis). 函数 的集合F的VC 维数是p, 当且仅当存在点集 {xi}pi=1 使得这些点能够被所有 2p 种可能的分类方式分开,且不存在集合 {xi}qi=1 ( q p )满足这一性质。 在 n 维空间中,超平面集合的VC维数等于n + 1 。 VC维数刻画了“可能近似正确”意义上的学习能力。 ;例:VC维数;四. 结构风险最小化 VC 理论引入期望风险的边界, 它依赖于实验风险与 F的能力。 这些边界的最小化导出结构风险最小化原理:实验风险与 VC 可