网页信息提取技术.PDFVIP

第23卷摇 第9期 计 算机 技 术 与发 展 Vol.23摇 No.9 2013年9月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 COMPUTERTECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 Sep.摇 2013 网页信息提取技术 邵振凯 (安徽理工大学计算机科学与工程学院,安徽 淮南 232001) 摘摇 要:随着互联网的快速发展,Web页面上的信息量已变得非常巨大,面对网页上海量的信息资源,如何快速有效地检索及发现 有价值的信息已成为Web研究的一个重要方面。 对此提出了一种标签提取方法。 利用JTidy将网页优化为格式良好的HTML文 档并解析为DOM树,然后用标签提取方法对该DOM树中包含有文本信息内容的叶子节点标签进行提取,把用于控制网页交互性 和显示的标签删除掉,并运用基于标点符号的信息提取方法去除版权说明等信息。 对不同网站的网页进行抽取实验,结果表明标 签提取方法不但通用性强,而且能够准确地提取网页的主题信息。 关键词:DOM;标签提取;信息提取;网页净化 中图分类号:TP311摇 摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2013)09-0036-03 doi:10.3969/ j.issn.1673-629X.2013.09.009 Web Page Information Extraction Technology SHAO Zhen-kai (College of Computer Science Engineering,Anhui University of Technology,Huainan232001,China) Abstract:With the rapid development of theInternet,theamount ofinformation in theWeb pagehasbecomevery large,howtoquickly and efficiently searchandfindvaluableinformationhasbecomeanimportantaspectofWebresearch.Inthisregardatagextractionmeth鄄 od isproposed.Optimize the Web pageinto goodHTML format documentswith JTidy,andresolvetoaDOMtree.Thenusetag extrac鄄 tion approach to extract thetagscontainthetextmessagecontentfromDOMtree,removethetagsusedtocontroltheWebinteractionand display,and use the method based on the punctuation information extraction method to remove the copyright notice and other informa鄄 tion.The resultson a number of different sitesextraction show that the tagsextraction methodsnot only have a great generality but also can accurately extract site theme. Key words:DOM;tagsextraction;information extraction;Web page purifying 0摇 引摇 言 热点和重点。 互联网技术的迅速发展,以网页数据为数据源的 研究越来越多,但网页