基于可视布局信息的网页噪音去除算法.pdfVIP

华南理工大学学报(自然科学版) of 第32卷增刊 JoumalSou山China of University v01．32 Technology suppl_ 2004年l1月 (NaturaIscience Edition) November2004 基于可视布局信息的网页噪音去除算法4 荆 涛左万利 (吉林大学计算机科学与技术学院，吉林长春130012) 摘要：主要探讨了网页中的噪音去除问题．针对单一页面中包含的丰富的可视信息。提 出了一个更加精确的噪音击除算法：首先获得页面中各元素标记的布局信息，然后利用布 局信息对页面进行划分，最后在此基础上去除噪音．与采用“布局信息”的算法相比．本文 提出的算法对页面布局信息的提取曼加准确，并能处理动态HTML页面实验结果表明。 该算法优于同类算法，可有效地去除网页噪音． 关键词：网页；噪音；页面布局 中图分类号：TPl8 文献标识码：A 随着互联网的迅猛发展，web上的网页数目呈 出的设计者的意图．而这些网页在显示时所表现出 现出指数级的爆炸性增长趋势．面对如此巨大的资 来的信息，恰恰是人在浏览页面时对页面内容做出 源，在web上检索及发现有价值的信息已成为了一 判断的主要依据．本文从人浏览网页的经验出发，利 项重要的任务．基于web的研究涉及信息检索，信 用网页在显示时所表现出的可视化信息及布局特 息抽取，搜索引擎。网页自动分类及摘要，主题爬行 征，对网页进行分块处理．在块的基础上有效地去除 等方面．研究处理的主要对象——网页，在页面中除 了页面内噪音． 了表达主题的内容外，还有为了维持页面的链接关 系而进行的导航设计或出于商业目的等进行的广告 1相关研究工作回顾 及修饰等内容，这些对于以网页为数据进行处理的 在与网页噪音去除相近的工作中，可以看到A、 算法而言就是噪音．而当前研究对如何去除噪音却 B两类情形．A类为基于一个或多个网站中的页面 未能进行深入的探讨．例如，在做网页分类时，通常 集进行页面的模板检测，把为了生成页面而在网站 of 是去掉网页中的标记，将页面转化成“Bag 中使用的模板作为噪音由页面中去除B类为基于 words”，然后用文本向量空间模型表示，应用分类 单一页面的处理，根据所处理页面的DOM(文档对 算法来进行分类．而在做网页的爬行时，也是在对网 象模型)结构，可视信息等应用一些启发性规则对 页进行解析的基础上，对页面内的各个链接同等看 页面内的噪音去除．在A类情形中，文献[1]中提出 待，放入待爬行队列中，由爬行器进行下载．实际上， 信息块(contentBlock)概念，对新闻网站中的页面 这样的处理将把许多与主题无关的词、链接带人数 进行处理．以页面中Table标记作为处理元素，将页 据集