3-1范数的SVM与2范数的SVM的比较.pptxVIP

1范数的SVM王张浩经典的2范数的SVM机器学习里的的咖啡加糖——损失加罚罚损失似曾相识猫吃老鼠，那熊猫吃袋鼠么？Suppose as we all know…在变量选择方面，1范数的Lasso在某些方面会优于2范数的岭回归So what?那么…有没有1范数的SVM？且1范数的SVM会不会也在某些方面优于2范数的传统的SVM？机器学习里的挂羊头卖狗肉——挂SVM卖Lasso将2范数岭回归的罚改成1范数Lasso的罚1范数 PK 2范数你能做到的，我做得比你更好。1、系数Beta的估计更接近于02、系数Beta的估计方差来得更小3、调节控制系数s,变量系数Beta会一个接着一个地从零变作非零1范数 PK 2范数你不会的，我也会。1、2范数岭回归罚的系数Betaj对应于一个高斯先验，而1范数Lasso罚的系数Betaj对应于一个双指数先验，然后我们先来做一道完形填空题： : Rejects or reflects? its a question!2、面对高维且稀疏的数据，我比你做的好。3、面对高维非稀疏的数据，我做不好，你也一样做不好。何为双指数分布1范数 PK 2范数你不会的，我也会。1、2范数岭回归罚的系数Betaj对应于一个高斯先验，而1范数Lasso罚的系数Betaj对应于一个双指数先验，然后我们先来做一道完形填空题： : Rejects or reflects? its a question!2、面对高维且稀疏的数据，我比你做的好。3、面对高维非稀疏的数据，我做不好，你也一样做不好。这般这般之后，模型还是当年济南大明湖畔SVM吗？?1.变量系数的路径解是呈分段线性的2.只要不从0变作非0，SVM的KKT条件仍然满足。3.要求的路径解，只要求出路径上那些不光滑的“折点”即可。实践是检验真理的唯一标准——仿真模拟?训练集由两组来自不同分布的数据构成第一组：样本量：50两个特征变量x1,x2两变量独立，且分别服从标准正态分布第二组：同上但是必须满足另外：加入噪声干扰选择核函数?采用指数d=2的多项式核函数则基函数集合为：产生1000个测试集数据并分别用1范数的SVM和2范数的SVM方法对测试集进行分类。分类结果因为1范数的SVM同时具备Lasso性质，即具有变量选择功能，故可以减少误差干扰变量的影响，提高分类准确率。上图?真实数据分类结果有关于白血病患者基因组的数据训练集:38名患者，7129个基因数据测试集：34名患者两类别： acute myeloid leukemia急性髓细胞样白血病 acute lymphoblastic leukemia急性淋巴细胞白血病用三种判别方法判别：带单变量排序的2范数SVM（UR）带递归的特征剔除的2范数的SVM（RFE）1范数的SVM分类结果感谢页谢 谢！