基于欠采样支持向量机不平衡的网页分类系统.pdf

计 算 机 系 统 应 用 http：／／www．C—s—a．org．cn 2017年 第 26卷 第 4期 基于欠采样支持向量机不平衡的网页分类系统① 李村合，唐 磊 (中国石油大学 计算机与通信工程学院，青岛 266580) 摘 要：在这个信息爆炸的时代，如何处理这些海量的数据如何有效的分类 已经引起 了人们的高度重视，尤其是 在互联无技术迅速发展的阶段，网页分类这领域己成为热点．与传统的分类方法相比，支持向量机具有高维、小 样本、适应性强的特点，能够非常有效率的解决网页分类问题，但是不平衡数据的分类这一方面，存在着分类不 精确 的问题．所以本文提出了新的解决不平衡数据样本策略，便是将欠采样策略与传统的支持向量机结合起来， 在减少多数类样本集中噪声数据的基础上增加少数类的样本集数量，从而使得不平衡样本集趋向于平衡，最后 结合 SMO(SenquentialMinimalOptimization)算法改进分类器 提高了分类的准确性． 关键词：支持向量机；SMO算法；训练集缩减算法；网页分类；多类分类 Realization ofW eb PageClassificationn System Based onUnder-SamplingSupportVector M achine LICun-He，TANGLei (CollegeofComputerandCommunicationEngineering，ChinaUniversityofPetroleum，Qingdao266580，China) Abstract：Inthiseraofinformationexplosion，how tohandlethesevastamountsofdataandhow toclassifythedata effectivelyhasattractedmuchattention，especiallyinthestageofrapiddevelopmentofInternettechnologyfree，the fieldofwebclassificationhasbecomeahotspot．Comparedwithhtetraditionalclassificationmethods，supportvector machinehashtecharactersofhigh—dimensional，smallsamplesize，strongadaptability,andcanbeveryeffectivetosolve hteproblem ofwebpageclassification．Butinthefield ofclassificationofimbalanced data，thereisaproblem of inaccurateclassification．Therefore，thispaperproposesanew strategytosolvetheimbalancedatasamples，thatis， combininghteunder—samplingstrategywiht thetraditionalsupportvectormachinestoincreasehtenumberofsamples seIinhteminorityclassandtoreducehteconcenrtatednoisedatainthemajorityclass，SOthatimbalancedsampleset tendstobebalanced．FinallySMO algorithm isusedtoimprovehteaccuracyofclassification． Key words：support vectormachine；SMO algorithm；reduction in thertaining set；classification ofweb page； multi—classC1assjfication l 引言 结构风险最小化原则为基础的学习机器L2J，在分类领 随着互联网的发展，网络的信息量爆炸式的增长， 域具有非常广泛的应用，在平衡问题的表现上效果非 人们从互联网中获取有用的信息越来越困难，也给互 常好，可以克服局部最小值问题，但是在支持向量机 联网的企业带来的挑战，由此，网页分类技术如雨后 在处