集成PCA降维与分类算法的垃圾网页检测.PDFVIP

第３１卷第１０期　　　 计算机应用与软件 Ｖｏｌ３１Ｎｏ．１０ ２０１４年１０月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｏｃｔ．２０１４ 集成ＰＣＡ降维与分类算法的垃圾网页检测 李法良　朱　焱　曾俊东 （西南交通大学信息科学与技术学院　四川成都６１００３１） 摘　要　　针对垃圾网页的内容特征和链接特征，设计一种集成主成分分析ＰＣＡ（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ）与支持向量机分类 算法的垃圾网页检测方法。该方法使用ＰＣＡ来提取网页样本特征的主成分，使用主成分特征训练支持向量机（ＳＶＭ）分类器。训练 过程引入ＡｄａＢｏｏｓｔ以提高分类器的性能。此外，采用聚类算法处理训练和测试数据集，解决了样本不均衡问题。通过在ＷｅｂＳｐａｍ ＵＫ２００７数据集上进行多组对比实验，结果表明，所设计的垃圾网页检测方案具有最高的检测率（０．８５１）。 关键词　　垃圾网页　垃圾网页检测　主成分分析　ＡｄａＢｏｏｓｔ　支持向量机 中图分类号　ＴＰ３９３．４　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．１０．０６５ ＳＰＡＭＷＥＢＰＡＧＥＤＥＴＥＣＴＩＯＮＣＯＭＢＩＮＩＮＧＰＣＡＤＩＭＥＮＳＩＯＮＡＬＩＴＹ ＲＥＤＵＣＴＩＯＮＡＮＤＣＬＡＳＳＩＦＩＥＲＡＬＧＯＲＩＴＨＭ ＬｉＦａｌｉａｎｇ　ＺｈｕＹａｎ　ＺｅｎｇＪｕｎｄｏｎｇ （ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｏｕｔｈｗｅｓｔＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｃｈｅｎｇｄｕ６１００３１，Ｓｉｃｈｕａｎ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｉｎｌｉｇｈｔｏｆｔｈｅｃｏｎｔｅｎｔｆｅａｔｕｒｅａｎｄｌｉｎｋｆｅａｔｕｒｅｏｆｓｐａｍｗｅｂｐａｇｅｓ，ｗｅｄｅｓｉｇｎａｓｐａｍｗｅｂｐａｇｅｄｅｔｅｃｔｉｏｎｍｅｔｈｏｄｗｈｉｃｈｃｏｍｂｉｎｅｓ ｔｈｅｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ（ＰＣＡ）ａｎｄｔｈｅＳＶＭｃｌａｓｓｉｆｉｅｒ．ＴｈｅｍｅｔｈｏｄｕｓｅｓＰＣＡｔｏｅｘｔｒａｃｔｔｈｅｐｒｉｎｃｉｐａｌｆｅａｔｕｒｅｓｏｆｔｈｅｓａｍｐｌｅｗｅｂｓｉｔｅｓ ａｎｄｔｈｅｎｕｓｅｓｔｈｅｍｔｏｔｒａｉｎＳＶＭｃｌａｓｓｉｆｉｅｒ，ｄｕｒｉｎｇｔｈｅｔｒａｉｎｉｎｇｐｒｏｃｅｓｓｔｈｅＡｄａｂｏｏｓｔｉｓｉｎｔｒｏｄｕｃｅｄｔｏｉｍｐｒｏｖｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅｃｌａｓｓｉｆｉｅｒ． Ｂｅｓｉｄｅｓ，ｗｅａｄｏｐｔｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｔｏｄｅａｌｗｉｔｈｔｈｅｔｒａｉｎｉｎｇａｎｄｔｅｓｔｉｎｇｄａｔａｓｅｔｓ，ｔｈｉｓｓｏｌｖｅｓｕｎｂａｌａｎｃｅｄｓａｍｐｌｅｓｐｒｏｂｌｅｍ．Ｔｈｒｏｕｇｈａ ｃｏｕｐｌｅｏｆｃｏｎｔｒａｓｔｅｘｐｅｒｉｍｅｎｔｓｏｎＷＥＢＳＰＡＭＵＫ２００７ｄａｔａｓｅｔ，ｔｈｅｒｅｓｕｌｔｓｄｅｍｏｎｓｔｒａｔｅｔｈａｔｔｈｅｓｐａｍｗｅｂｐａｇｅｄｅｔｅｃｔｉｏｎｓｃｈｅｍｅｄｅｓｉｇｎｅｄｉｎ ｔｈｉｓｐａｐｅｒｈａｓｈｉｇｈｅｓｔｄｅｔｅｃｔｉｏｎｒａｔｅ（０．８５１）． Ｋｅｙｗｏｒｄｓ　　Ｓｐａｍｗｅｂｐａｇｅ　Ｓｐａｍｗｅｂｐａｇｅｄｅｔｅｃｔｉｏｎ　Ｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ　ＡｄａＢｏｏｓｔ　Ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ（ＳＶＭ） 正常网页样本和垃圾网页样本在数量上极度不平衡，对分类器 ０　引　言 产生了严重的影响。为此，本文在原有数据集基础上对训练样 本进行聚类，计算正常网页与垃圾网页的比例，按比例从每个类 相关研究显示，人们通常只对搜索引擎返回的前几页内容 中取出具有代表性的正常网页样本并将这些正常网页样本和垃 感兴趣［１］。所以