基于多视图典型相关分析的垃圾网页检测-计算机应用研究.PDF

第３０卷第３期 计 算 机 应 用 研 究 Ｖｏｌ３０Ｎｏ３ ２０１３年３月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｍａｒ２０１３ 基于多视图典型相关分析的垃圾网页检测 １，２ １，２ １，２ 高　爽 ，张化祥 ，房晓南 （１．山东师范大学信息科学与工程学院，济南２５００１４；２．山东省分布式计算机软件新技术重点实验室，济南 ２５００１４） 摘　要：首先将垃圾网页特征分为两个不同的视图，即基于内容特征的视图和基于链接特征的视图，利用典型 相关分析及其相关改进方法进行特征提取，生成两组新的特征；再对新生成的两视图特征采用不同组合方式产 生单视图数据，并用这组数据作为训练数据构建分类算法。实验结果表明，将垃圾网页看成两视图数据，并应用 多视图典型相关分析技术，可有效提高垃圾网页的识别精度。 关键词：垃圾网页检测；典型相关分析；多视图分类；特征抽取 中图分类号：ＴＰ３９１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１３）０３８１００４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１３．０３．０４３ ＭｕｌｔｉｖｉｅｗｃａｎｏｎｉｃａｌｃｏｒｒｅｌａｔｉｏｎａｎａｌｙｓｉｓｂａｓｅｄＷｅｂｓｐａｍｄｅｔｅｃｔｉｏｎ １，２ １，２ １，２ ＧＡＯＳｈｕａｎｇ ，ＺＨＡＮＧＨｕａｘｉａｎｇ ，ＦＡＮＧＸｉａｏｎａｎ （１．ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，ＳｈａｎｄｏｎｇＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｊｉｎａｎ２５００１４，Ｃｈｉｎａ；２．ＳｈａｎｄｏｎｇＰｒｏｖｉｎｃｉａｌＫｅｙＬａｂｏｒａｔｏｒｙ ｆｏｒＮｏｖｅｌＤｉｓｔｒｉｂｕｔｅｄＣｏｍｐｕｔｅｒＳｏｆｔｗａｒｅＴｅｃｈｎｏｌｏｇｙ，Ｊｉｎａｎ２５００１４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＦｉｒｓｔｌｙｔｈｉｓｐａｐｅｒｄｉｖｉｄｅｄｔｈｅｆｅａｔｕｒｅｓｏｆＷｅｂｓｐａｍｐａｇｅｓｉｎｔｏｔｈｅｃｏｎｔｅｎｔｆｅａｔｕｒｅｂａｓｅｄｖｉｅｗａｎｄｔｈｅｌｉｎｋｆｅａｔｕｒｅ ｂａｓｅｄｖｉｅｗ．Ａｎｄｉｔｅｍｐｌｏｙｅｄｃａｎｏｎｉｃａｌｃｏｒｒｅｌａｔｉｏｎａｎａｌｙｓｉｓａｎｄｐｒｏｍｏｔｉｏｎｍｅｔｈｏｄｓｆｏｒｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｔｏｇｅｎｅｒａｔｅｔｗｏｎｅｗ ｆｅａｔｕｒｅｓｅｔｓｆｏｒｅａｃｈＷｅｂｐａｇｅ．ＴｈｅｎｉｔｉｍｐｌｅｍｅｎｔｅｄｄｉｆｆｅｒｅｎｔｃｏｍｂｉｎａｔｉｏｎｓｏｆｔｈｅｔｗｏｎｅｗｆｅａｔｕｒｅｓｅｔｓｏｆＷｅｂｐａｇｅｓｔｏｐｒｏ ｄｕｃｅａｓｉｎｇｌｅｖｉｅｗｆｏｒＷｅｂｐａｇｅｓ，ｗｈｉｃｈｕｓｅｄｔｏｃｏｎｓｔｒｕｃｔｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｇｏｒｉｔｈｍｓ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｃｏｎｓｉｄｅｒｉｎｇ Ｗｅｂｐａｇｅｄａｔａａｓｔｗｏｖｉｅｗｄａｔａａｎｄａｐｐｌｙｉｎｇｍｕｌｔｉｖｉｅｗｃａｎｏｎｉｃａｌｃｏｒｒｅｌａｔｉｏｎａｎａｌｙｓｉｓｔｅｃｈｎｉｑｕｅｓｃａｎｅｆｆｅｃｔｉｖｅｌｙｉｍｐｒｏｖｅｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎａｃｃｕｒａｃｙｏｆＷｅｂｓｐａｍ． Ｋｅｙｗｏｒｄｓ：Ｗｅｂｓｐａｍｄｅｔｅｃｔｉｏｎ；ｃａｎｏｎｉｃａｌｃｏｒｒｅｌａｔｉｏｎａｎａｌｙｓｉｓ（ＣＣＡ）；ｍｕｌｔｉｖｉｅｗｃｌａｓｓｉｆｉｃａｔｉｏｎ；ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ 信息进行分类［３］，但实际用于分类的仍然是所链接网页的内容 　引言