P12_面向文本分类的多类别SVM 组合方式的比较.pdfVIP

面向文本分类的多类别 SVM 组合方式的比较* 朱慕华 朱靖波 陈文亮 东北大学自然语言处理实验室 沈阳 110004 E-mail: zhu_mu_hua@ 摘 要：支持向量机是性能良好的二类分类模型，适用于处理文本分类问题。但支持向量机无法直接用于处理多 类分类问题。本文考察了四种流行的多类支持向量机方法，包括one-against-rest, pair-wise Max-Win, DDAG 和sigmoid模型。在中英文两个数据集上将几种方法应用于文本分类进行了比较实验。实验结果表明，在本文所 用的中文分类数据集上几种方法的性能差别不大，在英文数据集上差距较为明显。One-against-rest 方法在两 个数据集上都获得了最优的性能。 关键词：支持向量机； 文本分类； One-against-rest； Pair-wise Max-Win； DDAG； Sigmoid 模型 A Comparative study on Multicategory SVM for TC Zhu Muhua, Zhu Jingbo, Chen Wenliang Natural Language Processing Lab, Northeastern University, Shenyang, 110004 Abstract: Support vector machine outperforms other classification models in text categorization, but it can not cope with the case of multi-category classification directly. In this paper, four approaches are examined in the application text categorization, including one-against-rest, pair-wise Max-Win, DDAG and sigmoid model. Experimental results show the four approaches get similar performance on Chinese dataset and distinct one on English dataset. One-against-rest approach achieves the best performance all the time. Keywords: Support Vector Machine; Text Categorization; Pair-wise Max-Win; DDAG; Sigmoid model 1 前言 支持向量机(Support Vector Machine, SVM)是在统计学习理论基础上发展起来的一个学习方 法，适合于解决分类问题[1]。分类问题可以定义为：给定一个类别集合{t ,t ,L,t } ，为实例x 1 2 K i 赋予 K 个类别中的一个。但是，SVM 本质上要解决的是一个二类分类问题。而现实中所面临的 分类问题多数是多类别问题。我们注意到，在二类问题上得到的最优分类规则被应用到多类问题 时不一定是最优的。如何实现多类别 SVM 仍然是研究的热点之一。 * 本文获得国家自然科学基金资助项目（微软亚洲研究院联合资助项和，和国家教育部科学技术研究重点项目 （104065）资助 构造多类分类器通常有两种途径：1)将多类别问题看作是多个二类问题的组合，先分别训练 多个二类分类器，再以某种后处理方式将这些二类分类器组合得到一个具有全局输出的多类别分 类器；2)直接处理多类问题，训练得到的分类器考虑了所有的类