有效HTML文本信息抽取方法研究.docVIP

有效HTML文本信息抽取方法研究 　　 (北京工商大学 计算机学院, 北京 100037) 　　?? 　　 摘 要：从新闻网页和博客网页中抽取出正文内容是一个非常有意义的研究问题,但是多数网页中含有大量与正文无关的噪声内容，导致很难从网页中获取正确的文本信息。分析了中文新闻与博客网页的正文特征，用实验表明了利用HTML与文本的密度比可以进行文本的识别与抽取。提出了机器学习、统计估计以及FDR三种HLML正文抽取方法，并作了大量的实验比较和分析。实验结果表明，该算法可以有效地过滤噪声而且算法的复杂度很低，效率与效果均达到一个很好的平衡。 　　?? 关键词：网页； 信息抽取； 机器学习； 统计 　　?? 中图分类号：TP311 文献标志码： A 　　 文章编号：1001?菠B3695(2008)12?菠B3568?菠B04 　　 ?? 　　Research on methods for extracting text information from HTML pages 　　HAN Zhong??ming, LI Wen??zheng, MO Qian 　　?? 　　(College of Computer Science Technology, Beijing Technology Business University, Beijing 100037, China) 　　 ?? 　　 Abstract: 　　Extracting text information from news and blog HTML pages is a very important and interesting research problem. There are too many noises to extract precise texts. The paper analyzed statistic characterizes of HTML pages and showed it was possible to extract texts using information about the density of text vs. HTML code.Proposed three methods based on machine leaning, statistic and false discovery rate(FDR). Conducted comprehensive experiments and the result show these methods can effectively extract texts and balance effectivity and efficiency. 　　?? Key words：HTML pages; information extracting; machine learning; statistic 　　?お? 　　 　　互联网上的网页越来越多，新闻网页和博客网页正在成为人们获取、交换以及发布信息的重要途径。然而网页上很多有价值的信息淹没在不同风格的页面中，无论是搜索引擎还是信息抽取都希望可以从不同风格的网页中获取最有价值的正文信息，而不是一大堆与正文无关的广告、图片、导航栏以及其他标注信息。如何从不同风格的网页中有效地获取正文信息就成为一个众多应用的基础问题。所谓正文抽取也就是从富含文本的任意风格的网页中抽取页面所介绍的主要文本信息，过滤菜单、导航、广告以及链接信息。影响正文抽取的因素很多，如页面布局、广告、标记、导航栏、菜单以及相关链接等，有些网页正文还围绕广告。要从众多因素中决定正文并非易事。本文在文献[1]的基础上引入了三种简单高效的正文信息抽取方法，这些方法无须知道HTML文件的结构和使用的标签，能够工作于含有文本内容的所有新闻页面和博客页面。从抽取的效果可以看出，方法抽取的正文比较准确，而且效率高。?? 　　 1 相关工作?? 　　一般的网页数据抽取方法使用包装器(wrapper)进行。文献[2~4]是使用包装器的代表，可以从特定的信息源中抽取相关内容,并以特定形式加以表示。但包装器一般用来抽取特定格式的内容，难以满足面向不同来源、抽取不同内容的任务需求。?? 　　抽取广泛正文的主要方法有利用网页的结构与布局[5~7]、DOM技术以及统计技术[8，9]等。前两类方法基于一个或多个网站中的页面集,进行页面的模板检测,利用相对固定的模式实现网页去噪。这些方法主要对具有相对固定模板的页面进行处理,但是具有两个主要的缺点：a）很难处理风格不统一的网页；b）在网页信息提取和噪声抑制处理中都有将网页的HTML格式解析成DOM文档的