支持向量机教学课件.ppt

*/50 目标 */50 将约束带入目标函数，化简计算 将 带入目标函数，得到关于α1α2的函数： 对α1α2求偏导并令其为0，易知s(α1,α2)在点(1.5,-1)处取极值。而改点不满足条件α2≥0，所以，最小值在边界上达到。 当α1=0时，最小值s(0,2/13)=-2/13 当α2=0时，最小值s(1/4,0)=-1/4 于是，s(α1,α2)在α1=1/4， α2=0时达到最小，此时，α3= α1+α2=1/4 */50 分离超平面 α1=α3=1/4对应的点x1,x3是支持向量。 带入公式： 得到w1=w2=0.5，b=-2 因此，分离超平面为 分离决策函数为 */50 线性支持向量机 若数据线性不可分，则增加松弛因子ξi≥0，使函数间隔加上松弛变量大于等于1。这样，约束条件变成 目标函数： */50 线性SVM的目标函数 */50 拉格朗日函数 拉格朗日函数 对w,b, ξ求偏导 */50 带入目标函数 将三式带入L中，得到 对上式求关于α的极大，得到： */50 最终的目标函数 整理，得到对偶问题： */50 线性支持向量机学习算法 构造并求解约束最优化问题 求得最优解α* */50 线性支持向量机学习算法 计算 注意：计算b*时，需要满足0<αj<C 求得分离超平面 分类决策函数 */50 核函数 可以使用核函数，将输入空间映射到特征空间，从而，使得原本线性不可分的样本可以在特征空间可分。 在实际应用中，往往依赖先验领域知识才能选择有效的核函数 多项式核函数 高斯核函数 字符串核函数 如：两个字符串的最长公共子序列LCS(X,Y) */50 核函数影射 */50 SMO 序列最小最优化 Sequential Minimal Optimization 有多个拉格朗日乘子 每次只选择其中两个乘子做优化，其他因子认为是常数。 关于这两个变量的解应该更接近原始二次规划问题的解。 */50 SMO 考察目标函数，假设α1和α2是变量，其他是定值： */50 二变量优化问题 */50 SMO的迭代公式 迭代公式： */50 SMO算法 1. 取初值α(0)=0，令k=0 2. 选择优化变量α1(k)，α2(k)，解析求解两个变量的优化问题，求得最优解α1(k+1)，α2(k+1)，更新α为α(k+1) 3. 若在精度ε范围内满足退出条件(下一页)，则转4；否则，k++，转2 4. 取α=α(k+1) */50 退出条件 */50 参考文献 统计学习方法，李航著，清华大学出版社，2012年 /v_july_v/article/details/7624837 /zjgtan/archive/2013/09/03/3298213.html(对偶问题) Support Vector Machines, Charlie Frogner, 2011 Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines, John C. Platt. 1998 Support Vector Machines, Andrew W. Moore, 2001 */50 感谢大家！ 恳请大家批评指正！ 支持向量机 */50 谱聚类历史遗留问题 最小化f’Lf，为什么等价于最小特征值和特征向量？ 其不满足f⊥1的条件，为什么？ 特征向量v里的元素是连续的任意实数，能否具体点？ 求拉普拉斯矩阵的前K个特征值，再对前K个特征值对应的特征向量进行?K-means?聚类，对特征向量进行K聚类的目的是什么？ 最小的系列特征向量对应着图最优的系列划分方法，怎么理解向量划分图？ 什么是NP问题？ */50 解答 其不满足f⊥1的条件，为什么？ */50 切割代价与f’Lf的关系 */50 解答 */50 解答 特征向量v里的元素是连续的任意实数，能否具体点？ 求拉普拉斯矩阵的前K个特征值，再对前K个特征值对应的特征向量进行?K-means?聚类，对特征向量进行K聚类的目的是什么？ L是实对称正定阵，那么，L的特征向量u，是实向量。即：u的每个元素都是实数。 这其实不是我们想要的。如果计算L的次小特征向量v，得到的v中的元素都只能取-1，+1，那么，直接就可以用-1，+1将原始样本聚类成两簇了。（可惜现实中不是这样子） 所以，必须将特征向量v根据是否大于0（或其他定值）分成两部分，进而把原始样本聚类成两簇。 实践中，往往不是只选择次小的特征向量，而是选择前K个特征向量进行K均值聚类。 */50 解答 最小的系列特征向量对应着图最优的系列划分方法，怎么理解向量划分图？ 一般翻译成“连通分量”。 什么是N