.pegasos2013.3.pptVIP

二、次梯度的概念与应用 Experiments 3 datasets (provided by Joachims) Reuters CCAT (800K examples, 47k features) Physics ArXiv (62k examples, 100k features) Covertype (581k examples, 54 features) 4 competing algorithms SVM-light (Joachims) SVM-Perf (Joachims’06) Norma (Kivinen, Smola, Williamson ’02) Zhang’04 (stochastic gradient descent) Source-Code available online 收敛性分析 由定理1得到一个结论： 由凸函数的性质易知： 所以： 由结论1有： 用马尔可夫不等式 We do so by viewing T as a random index draw from {1,2,…T,…T^},where T^T. 由定理3得： 为得到更高的置信，运行算法s次,s大于 则得到 为得到至少 的可能性，有 ： 所以要运行 次得到 个结果权重向量，其中至少有一个可以使精度达到 ，同时算法需要 个样本 两种极端情况： 迭代次数 迭代次数 * PEGASOS Primal Estimated sub-Gradient Solver for SVM 一、函数的凸性和光滑性 二、次梯度的概念与应用 三、Pegasos 内 容 Convex and strictly convex Strongly convex definition Logarithmic Regret Algorithms for Strongly Convex Repeated Games_2007 y 强凸是严格凸的充分条件，而非必要条件 Define in Convex Analysis and optimization expample 共轭函数 举例： 2 1 1 x The projection theorem 收敛性 Proof: 递归 选取步长 assume Then, 收敛性 其余步骤与前相似 增量投影次梯度 问题描述： Assume m=5 三、Pegasos 问题描述： 给定训练集 其中 求解f(w)的最小值 incremental 迭代步： 其中， At ? S of size k 由强对偶性质知w应满足： 其中： 详细证明过程见：Shai Shalev-Shwartz and Yoram Singer Logarithmic Regret Algorithms for Strongly Convex Repeated Games （对偶间隙为零） 投影： 如果： 则令 则令 如果： 即： i.e. 原点 投影点 L2球投影图解 *