基于Bagging-SVM集成分类器的网页作弊检测.pdfVIP

第 42卷 第 1期 计 算 机 科 学 Vo1．42No．1 2015年 1月 Computer Science Jan2015 基于Bagging—SVM 集成分类器的网页作弊检测 唐寿洪 朱 焱 杨 凡 (西南交通大学信息科学与技术学院 成都 610031) 摘 要 网页作弊不仅造成信息检索质量下降，而且给互联 网的安全也带来了极大的挑战。提 出了一种基于Bag— ging-SVM 集成分类器的网页作弊检测方法。在预处理阶段，首先采用K-means方法解决数据集的不平衡问题，然后 采用CFS特征选择方法筛选出最优特征子集，最后对特征子集进行信息熵离散化处理。在分类器训练阶段，通过 Bagging方法构建多个训练集并分别对每个训练集进行SVM 学习来产生弱分类器。在检测阶段，通过多个弱分类器 投票决定测试样本所属类别。在数据集wEBSPAM—UK2。06上的实验结果表明，在使用特征数量较少的情况下，本 检测方法可以获得非常好的检测效果。 关键词 网页作弊，集成分类器，特征选择，信息熵，弱分类器 中图法分类号 TP181 文献标识码 A DOI 10．I1896／j．issn．1002—137)(．2015．1．053 W ebSp锄 DetectionBasedonIntegratedClassifierwithBagging-SVM TANG Shou-hong ZHU Yan YANG Fan (SchoolofInformationScienceandTechnology，SouthwestJiaotongUniversity，Chengdu610031，China) Abstract Webspare notonlydeclinesthequalityofinformationretrieval，butalsocausestroublestOthesecurityofIn— ternet．ThispaperproposedaBa gging-based integrationofSVM todetectW ebspam．Inpreprocessing stage，atecb— niquereferringtoK-meansisintroducedtosolvetheclass-imbalanceproblem ofdatasetfirstly，andthenanoptimalfea— turesubsetisculledbyusingCFS．Finallytheoptimalfeaturesubsetisdiscretizedbytheinformationentropy．Inthe stageofclassifiertraining，severaltrainingdatasetsareobtainedbyBa ggingandeachtrainingdatasetisutilizedtopro— duceweakclassifierrespectivelyafterSVM learning．Indetectionstage，testsamplesarevotedbyweakclassifiersob— rainedbeforedeteminingtheircategories．Experimentalresultson theWEBSPAM-UK2006revealthattheproposed methodcanachievebetterresultswithlessnumberoffeatures． Keywords W ebspam ，Integratedclassifier，Featureselection，Informationentropy，Weakclassifier 网页作弊和基于隐藏的网页作弊。基于链接的网页作弊是一 1 引言