大规模训练数据的支持向量机学习新方法.pdfVIP

第27卷 第 l3期 计算机工程与设计 2006年 7月 VO1．27 No．13 ComputerEngineeringandDesign July 2006 大规模训练数据的支持向量机学习新方法 郑志洵 ， 杨建刚 (浙江大学计算机学院，浙江杭州 310027) 摘 要：支持向量机不能直接对大规模的训练数据进行学习。提 出一种新的减小样本集规模的方法；在映射后的高维空间中 寻找两种类别的交界部分，交界部分上的样本作为学习样本。并且指 出，不需涉及具体映射的形式只用核 函数即可找到交 界部分的样本。实验表明，新方法优于直接在低维样本空间中寻找交界部分样本的方法。 关键词：支持向量机；大规模训练数据；核 函数；高维空间；类别交界 中图法分类号：TP181 文献标识码：A 文章编号：1000-7024(2006)13-242502 New methodofSVM learningwithlargescaletrainingdata ZHENGZhi—xun， YANG Jian．gang (CollegeofComputerScience，ZhejiangUniversity,Hangzhou310027，China) Abstract：SVIVICallnotlearnfrom largescaletrainingdatadirectly．Anewmehtodtodecreasethescaleoftraninigadat isproposed, whichistofindhteborderofthetwocategoriesnihtemappedhighdimensionspace．Thismehtodisbaseddirectlyonhtekernelfunction regradlessofhtem~pnigform．Experimentsshow htathtisnew mehtodisbetterhtna htewaytofindhteborderofhtewtocategoriesni hteorigniallow dimensionspace． Keywords：SVM； largescaletraninigadat；kernelfunction；highdimensionspace；borderofcategories 性不可分，C-．一对训练错误的惩罚，以使分类间隔和分类错 0 引 言 误折衷。使用拉格朗日乘数法，上述优化 问题转化为下面的 支持向量机是一种新的分类模型。它基于结构风险最小 二次规划 问题 化原则，不仅对训练集有很好的分类能力，也有很好的泛化能 nfin a +e 力，避免了过学习的问题，广泛引用到了语音识别、图像检索 ． 等领域。支持向量机的学习本质是求解二次规划 问题，对大 ．f． 0≤ i=l，2…，， LZ 西≤c ，…，， 规模的训练样本训练耗时太长、内存 占用太大。如何将支持 式中：a=(a。，az，…，af)，a广_ 拉格 朗日乘子； 。，… ；P一 向量机适用