一种基于网页块特征的多级网页聚类方法.PDF

　第５０卷　第７期 山　东　大　学　学　报　（理　学　版） ２０１５年７月　 　 　 　 　 　 　Ｖｏｌ．５０　 Ｎｏ．７　 　 　 　 　 ＪｏｕｒｎａｌｏｆＳｈａｎｄｏｎｇＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ） Ｊｕｌ．２０１５　 　文章编号：１６７１９３５２（２０１５）０７０００１０８　　　ＤＯＩ：１０６０４０／ｊ．ｉｓｓｎ．１６７１９３５２３２０１４２７０ 一种基于网页块特征的多级网页聚类方法 １，２ １ １，２ １ 范意兴 ，郭岩 ，李希鹏 ，赵岭 ， １ １ １ 刘悦 ，俞晓明 ，程学旗 （１．中国科学院计算技术研究所，北京 １００１９０；２．中国科学院大学，北京 １００１９０） 摘要：利用网页的结构特征，提出一种多级网页聚类方法。该方法首先对网页进行分块，然后使用网页的块特征 对网页进行聚类。在聚类过程中，通过调整阈值，能够提供三级聚类：同站点网页聚类、同站点同结构网页聚类、 同站点同结构同模板网页聚类。与已有的网页聚类方法相比较，该方法能够提供多级聚类结果，满足不同的聚类 需求，而且在聚类的准确率和效率方面有本质上的提高。 关键词：网页分块；网页聚类；ＤＯＭ 中图分类号：ＴＰ３９１　　　文献标志码：Ａ Ａｍｕｌｔｉｌｅｖｅｌｐａｇｅｃｌｕｓｔｅｒｉｎｇｍｅｔｈｏｄｂａｓｅｄｏｎｐａｇｅｓｅｇｍｅｎｔａｔｉｏｎ １，２ １ １，２ １ ＦＡＮＹｉｘｉｎｇ ，ＧＵＯＹａｎ，ＬＩＸｉｐｅｎｇ ，ＺＨＡＯＬｉｎｇ， １ １ １ ＬＩＵＹｕｅ，ＹＵＸｉａｏｍｉｎｇ，ＣＨＥＮＧＸｕｅｑｉ （１．ＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｉｎｇＴｅｃｈｎｏｌｏｇｙ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０，Ｃｈｉｎａ； ２．ＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｍｕｌｔｉｌｅｖｅｌｐａｇｅｃｌｕｓｔｅｒｉｎｇｍｅｔｈｏｄｂａｓｅｄｏｎｐａｇｅｓｅｇｍｅｎｔａｔｉｏｎｗａｓｐｒｏｐｏｓｅｄ．Ｉｎｔｈｉｓｍｅｔｈｏｄ，ｐａｇｅｓｗｅｒｅ ｄｉｖｉｄｅｄｉｎｔｏｓｅｖｅｒａｌｂｌｏｃｋｓ，ａｎｄｔｈｅｎｃｌｕｓｔｅｒｅｄｂｙｕｓｉｎｇｔｈｅｂｌｏｃｋｆｅａｔｕｒｅ．Ｂｙａｄｊｕｓｔｉｎｇｔｈｅｔｈｒｅｓｈｏｌｄｏｆｓｉｍｉｌａｒｉｔｙ ｂｅｔｗｅｅｎｐａｇｅｓ，ｔｈｒｅｅｌｅｖｅｌｃｌｕｓｔｅｒｉｎｇｗａｓｏｂｔａｉｎｅｄ：ｔｈｅｆｉｒｓｔｌｅｖｅｌｉｓｐａｇｅｓｆｒｏｍｔｈｅｓａｍｅｗｅｂｓｉｔｅ，ｔｈｅｓｅｃｏｎｄｌｅｖｅｌｉｓ ｐａｇｅｓｆｒｏｍｔｈｅｓａｍｅｗｅｂｓｉｔｅｗｉｔｈｔｈｅｓａｍｅｓｔｒｕｃｔｕｒｅｓ，ａｎｄｔｈｅｌａｓｔｌｅｖｅｌｉｓｐａｇｅｓｐｒｏｄｕｃｅｄｗｉｔｈｔｈｅｓａｍｅｔｅｍｐｌａｔｅｆｒｏｍ ｔｈｅｓａｍｅｗｅｂｓｉｔｅ．Ｃｏｍｐａｒｅｄｗｉｔｈｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｓ，ｔｈｉｓｍｅｔｈｏｄｎｏｔｏｎｌｙｃｏｕｌｄｐｒｏｖｉｄｅｍｕｌｔｉｌｅｖｅｌｃｌｕｓｔｅｒｉｎｇ，ｂｕｔ ａｌｓｏｃａｎｃｌｕｓｔｅｒｐａｇｅｓｅｆｆｅｃｔｉｖｅｌｙ． Ｋｅｙｗｏｒｄｓ：ｐａｇｅｓｅｇｍｅｎｔａｔｉｏｎ；ｐａｇｅｃｌｕｓｔｅｒｉｎｇ