S学习：一种模式分类的新方法研究.pdf

S．学习：一种模式分类的新方法 杨双红胡包钢 中国科学院自动化所模式识别国家重点实验室，北京100080 摘要：提出了一种新的分类方法：S一学习。该方法采用最小二乘损失函数阶段式地逼近一个有界且单调 非增的非凸损失函数。与其他分类方法相比，该方法在理论和经验上具有以下优点：1)相比SVM，Logistic 回归，Adaboost，岭回归等采用凸损失函数的分类器，该方法具有更好的泛化性能和对outlier的鲁棒性； 2)相比v．Learning等采用非凸损失函数的分类器，该方法在计算代价和分析性能方面有非常明显的优势； 3)该方法每一步均有解析解，计算复杂度和岭回归相当，然而泛化性能远优于岭回归，更重要的是它在核 空间内是自然稀疏的(稀疏度和SVM相当)因而具有更好的拓展·I生(scalability)；4)该方法在不增加分类器复 杂度的条件下可以稳定地增加margin，表现出极好的渐近一致性。 关键词：机器学习，模式分类，核方法，损失函数，稀疏核学习器 Novel forClassification S-·Learning：AApproach Baogang YangShuanghong，Hu of National Pattern ofAutomation， LaboratoryRecognition，Institute Chinese of AcademySciences，Beijing，100080，China anew usesaleast square Abstract：丁7l括paperpresentsapproachforclassification．namelyS—Learning,which loss withineach fD abounded nonconvex function stageasymptoticallyapproximate monotonically—decreasing loss ina manner．Several obtained canachievebetter function by stagewise benefi捃are S—Learning．J)It aswellasrobustness convexloss suchasSVM,Logistic generalization compared幻methodsusing funcaons with whichusenonconvexloss Regression，Adaboost,RidgeRegression,etc．2JComparedalgorithms functions, rnore t0 andalsohasbettertheoretical is e．g．。lg-Learning,ourapproachisfar efficientcompute amenability．3)It thesame as inadditionfDthemuchbetter is performance，it of complexi