支持向量机及其他.pptVIP

数据挖掘与决策支持 教师：徐硕 电话8006 Email: xush@ OR pzczxs@ 课程网址： 13/dmwiki/index.php?id=course:datamining15 课程主要内容 绪论（Introduction） 关联规则及相似项（Association Rule Similar Items） 分类和预测（Classification Prediction） 序列标注（Sequence Labeling） 聚类分析（Clustering） 主题模型（Topic Model） 调查问卷分析方法（Questionnaire Analysis） 第五章：支持向量机及其他 支持向量机 核函数 多类分类 后验概率输出 最小二乘支持向量机 多任务学习 多标识分类 本章小结 线性分类器（1/5） 线性分类器（2/5） 线性分类器（3/5） 线性分类器（4/5） 线性分类器（5/5） 分类器间隔（1/2） 分类器间隔（2/2） 线性分类器：数学表述（1/2） wx+ + b = +1 wx- + b = -1 w(x+-x-) = 2 线性分类器：数学表述（2/2） 求解优化问题（1/2） 求解优化问题（2/2） 受噪声污染的数据集 软间隔分类 硬间隔 vs 软间隔 线性分类器：小结 非线性支持向量机 非线性支持向量机：特征空间 核技巧（1/2） 核技巧（2/2） 2维空间向量： x=[x1, x2]; let ?(xi,xj)=(1 + xiTxj)2, 很容易证明 ?(xi,xj)= ?(xi) T ?(xj): 其中 核函数需满足什么条件？ 非线性支持向量机：数学表述 更有效的训练算法 二次凸优化算法 分块算法（Chunking ） Osuna算法 序贯最小优化算法（Sequential Minimal Optimization，SMO) (Platt, 1999) 非线性支持向量机：小结 (1/2) 支持向量机在特征空间寻找分类超平台，并在特征空间判断未知样本的类别。 支持向量机不需要显式地对特征空间进行表示，只需要定义一个核函数就可以了 核函数在非线性支持向量机中扮演了一个非常重要的角色 非线性支持向量机：小结 (2/2) 可以灵活选择相似度函数 处理大数据集时，解的稀疏性 仅仅支持向量就可以完整描述分类超平面 能够处理高维特征空间 复杂度与特征空间的维度无关 过拟合可以被软间隔方法很好地控制 优美的数学性质 凸优化问题可以保证解的唯一性 第五章：支持向量机及其他 支持向量机 核函数 多类分类 后验概率输出 最小二乘支持向量机 多任务学习 多标识分类 本章小结 经典核函数 向量空间核函数 ?: d? ?(d)=(tf(t1, d), tf(t2, d), …, tf(tN, d))T p-谱核函数 p = 2 全子序列核函数 间隙加权子序列核函数 非归一化核函数：?UN(“cat”, “car”) = ?4 归一化核函数: 树核函数 如何度量名词短语“a dog”和“a cat”的相似度? sim(“a dog”, “a cat”) = ? 句法解析树 sim(“a dog”, “a cat”) = 0.5 关系抽取 (1/2) 关系抽取 (2/2) 第五章：支持向量机及其他 支持向量机 核函数 多类分类 后验概率输出 最小二乘支持向量机 多任务学习 多标识分类 本章小结 多类分类（1/2） 1对其他（One vs. Others） 1对1（One vs. One） 有向无环图SVM (DAGSVM) 纠错输出码法（Error-Correcting Output Codes） … 多类分类（2/2） 第五章：支持向量机及其他 支持向量机 核函数 多类分类 后验概率输出 最小二乘支持向量机 多任务学习 多标识分类 本章小结 后验概率输出（1/3） 不仅仅预测未见样本的类别，许多应用需要知道后验概率：Pr(y = +1 | x) Platt (2000) 提出了一种通过Sigmoid函数近似 后验证概率的方法 后验概率输出（2/3） 后验概率输出（3/3） 第五章：支持向量机及其他 支持向量机 核函数 多类分类 后验概率输出 最小二乘支持向量机 多任务学习 多标识分类 本章小结 最小二乘支持向量机 (1/3) 原始问题：支持向量机（SVM） 原始问题：最小二乘支持向量机（LS-SVM） 最小二乘支持向量机 (2/3) 对偶问题 凸二次规划问题 ?凸线性方程线求解问题 其中?i,j = yiyj ?(xi, xj)， y = (y1, y2, …, yN)T. 最小二乘支持向量机 (3/3) 第五章：支持向量机及其他 支持向量