一种基于内容规则的网页去噪算法.pdfVIP

总第１６２期　２００８年　第３期 一种基于内容规则的网页去噪算法 １，２ １ １ 王建冬 　王继民　田飞佳 １（北京大学信息管理系　北京 １００８７１） ２（连云港师范高等专科学校图书馆　连云港２２２０００） 【摘要】提出一种基于内容规则的网页净化算法。包含两部分，先提出一种同层表间的比较迭代算法，通过迭代 的方式对于网页中的噪声内容进行层层剥离。为进一步判断网页中锚文本与网页主题的相关性，又提出一种基 于修正的编辑距离的计算锚文本的主题相似性的算法，在一定程度上考虑了网页的语义因素。该算法具有更高 的准确度，同时具有很低的时间复杂度。实验结果表明，在对海量网页进行净化处理时，算法具有良好的效果。 【关键词】网页净化　编辑距离 【分类号】ＴＰ１８ ＡｎＡｌｇｏｒｉｔｈｍｆｏｒＮｏｉｓｅＲｅｄｕｃｔｉｏｎｉｎＷｅｂＰａｇｅｓＢａｓｅｄｏｎａＧｒｏｕｐ ｏｆＣｏｎｔｅｎｔ－ｒｅｌａｔｅｄＲｕｌｅｓ １，２ １ １ ＷａｎｇＪｉａｎｄｏｎｇ 　ＷａｎｇＪｉｍｉｎ　ＴｉａｎＦｅｉｊｉａ １（ＤｅｐａｒｔｍｅｎｔｏｆＩｎｆｏｒｍａｔｉｏｎＭａｎａｇｅｍｅｎｔ，ＰｅｋｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１００８７１，Ｃｈｉｎａ） ２（ＬｉａｎｙｕｎｇａｎｇＴｅａｃｈｅｒ’ｓＣｏｌｌｅｇｅＬｉｂｒａｒｙ，Ｌｉａｎｙｕｎｇａｎｇ２２２０００，Ｃｈｉｎａ） 【Ａｂｓｔｒａｃｔ】ＴｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓａｎｅｗａｌｇｏｒｉｔｈｍｆｏｒｔｈｅｅｌｉｍｉｎａｔｉｏｎｏｆｎｏｉｓｅｉｎＷｅｂｐａｇｅｓｂａｓｅｄｏｎａｇｒｏｕｐｏｆｃｏｎｔｅｎｔ－ ｒｅｌａｔｅｄｒｕｌｅｓ．Ｆｉｒｓｔ，ｔｈｅａｕｔｈｏｒｓｐｒｅｓｅｎｔａｎａｌｇｏｒｉｔｈｍｗｈｉｃｈｃａｎｐｅｅｌｏｆｆｎｏｉｓｅｓｂｙｉｔｅｒａｔｉｖｅｌｙｃｏｍｐａｒｉｎｇｔｈｅｔａｂｌｅｓｏｎｔｈｅ ｓａｍｅｌｅｖｅｌｏｆｔｈｅｐａｇｅ’ｓｔａｂｌｅｔｒｅｅ．Ｎｅｘｔ，ａｎａｌｇｏｒｉｔｈｍｉｓｐｒｅｓｅｎｔｅｄｉｎｏｒｄｅｒｔｏｅｖａｌｕａｔｅｔｈｅｓｉｍｉｌａｒｉｔｙｏｆａｎｃｈｏｒｔｅｘｔ’ｓ ｔｏｐｉｃａｎｄｔｈｅｃｏｎｔｅｎｔｏｆｔｈｅｐａｇｅ．Ｔｏｓｏｍｅｅｘｔｅｎｔ，ａｓｔｈｅｎｅｗａｌｇｏｒｉｔｈｍｔａｋｅｓｓｅｍａｎｔｉｃｆａｃｔｓｏｆｔｈｅＷｅｂｐａｇｅｓｉｎｔｏｃｏｎｓｉｄ ｅｒａｔｉｏｎ，ｉｔａｃｑｕｉｒｅｓｈｉｇｈｅｒａｃｃｕｒａｃｙｔｈａｎｐｕｒｅｒｕｌｅ－ｂａｓｅｄａｌｇｏｒｉｔｈｍ，ｗｈｉｌｅｒｅｑｕｉｒｅｓｌｏｗｅｒｔｉｍｅｃｏｍｐｌｅｘｉｔｙ．Ｔｈｅｒｅｓｕｌｔｏｆ ｅｘｐｅｒｉｍｅｎｔｉｎｄｉｃａｔｅｓｔｈａｔｔｈｉｓａｌｇｏｒｉｔｈｍｐｅｒｆｏｒｍｓｖｅｒｙｅｆｆｅｃｔｉｖｅｌｙｗｈｅｎｐｕｒｉｆｙｉｎｇｇｒｅａｔｍａｓｓｏｆＷｅｂｐａｇｅｓ． 【Ｋｅｙｗｏｒｄｓ】ＮｏｉｓｅｒｅｄｕｃｔｉｏｎｉｎＷｅｂｐａｇｅｓ　Ｌｅｖｅｎｓｈｔｅｉｎｄｉｓｔａｎｃｅ １　引　言 　　互联网规模的几何级数增长和万维网的缺乏规范性，使网络信息检索与传统信息检索相比呈现出明显的不 同之处：互联网络信息检索面向的对象为海量数据；互联网络信息检索所提供的信息内容包罗万象，形式五花八 门。在这种情况下，网页净化技术成为网络信息检索特有的一个研究领域，受到越来越多的研究人员的关注，并提 ［１，２］ ［３］ ［４，５］ 出了各种算法。较为典型的有基于一组启发式规则 或页面的布局信息 的去噪算法、基于树形结构 的去噪算 ［６］ ［７，８］ 法、基于模板 的去噪算法和基于内容块思想 的去噪算法等。这些算法中，基于模板的去噪方法只对于模板型网 页集效果显著，具有一定局限性。其他各种算法思想的基本出发点都是基于一组视觉规则来判断噪声的。 　　本文提出了一种基于内容规则的网页净化算法，所谓内容规则，是指算法依然属于基于规则的网页净化算法 　　收稿日期：２００７－１１－２７ 　　收修改稿日期：２００７－１２－１７ 　　 本文系国家科技支撑计划课题基金