基于HTML树和模板的文献信息提取方法研究.docVIP

基于HTML树和模板的文献信息提取方法研究 第27卷第12期 2010年12月 计算机应用研究 ApplicationResearchofComputers VoL27N12 Dec.201O 基于HTML树和模板的文献信息提取方法研究冰 李文立,王乐超,宋春雷 (大连理工大学管理学院系统工程研究所,辽宁大连116024) 摘要:教师科研文献信息的自动搜集是科研成果有效管理的重要手段,将网页信息的提取方法用于网络数据 库中文献信息的自动搜集有广大的应用前景.提出基于DOM树和模板的文献信息提取方法,利用HTML标记 间的嵌套关系将Web网页表示成一棵DOM树,将DOM树结构用于网页相似度的度量和自动分类,相似度高的 网页应用同一模板进行信息提取.实验结果表明该方法在提取网络数据库中文献信息的准确率在94%以上. 关键词:网页信息提取;文档对象模型树;模板;文献信息搜集 中图分类号:TP311.13文献标志码:A文章编号:1001—3695(2010)12—4615—03 doi:12.3969/j.issn.1001—3695.2010.12.064 MethodofpaperinformationextractionbasedonHTMLtreeandtemplate LIWen-li,WANGLe-chao,SONGChun—lei (￡fⅡofSystemsEngineering,SchoolofManagement,DalianUniversityofTechnology,DalianLiaoning116024,China) Abstract:TheautomaticcollectionoftheteacherresearchpaperinformationiSanimportantmeansofeffectivemanagementof scientificresearch,thereisabroadapplicationprospectstoapplythemethodofWebpageinformationextractiontothepaper informationcollection.ThispaperproposedamethodofpaperinformationcollectionbasedontheHTMLtreeandtemplate. ThismethodwouldrepresenttheWebpageintoaDOMtreeusingthehierarchyrelationshipoftheHTMLtags.thentheD0M treewouldbeusedtothemeasureofthepagesimilarityandtheclassificationofWebpages.TheinformationofWebpages withhighsimilaritywouldheextractedusingthesametemplate.Theexperimentresuhshowsthattheaccuracyofthismethod iSabove94%incollectingthepaperinformationfromtheWebdatabase. Keywords:Webinformationextraction;DOMtree;template:documentinformationextraction 0引言 随着Internet的迅速发展,Web已经成为一个数据量巨大 的快速发展的数据源,是传播与共享信息的重要资源.基于 Web的数据挖掘是人们获取信息的有效途径,如何有效地利 用Web上的信息就变得非常重要.因此,从Web上检索和发 现有价值的信息成为许多研究人员的目标.但是Web页面上 经常含有与主题无关的信息,如广告信息,导航条和无关链接 等,它们通常分布于网页四周,有的甚至嵌入到网页正文中,这 给用户迅速定位网页的主题信息带来困难.从Web中检索信 息首先面临的问题就是Web数据源的有效识别并通过适当的 数据模型进行高效的数据抽取.文献信息大多来源于专业的 文献检索数据库,其检索结果的呈现方式大多是HTML页面, 信息的获取通常需要人工干预,也不能满足用户的个性化查询 需求.如何有效地自动获取所需的文献信息并匹配用户的个 性化查询需求成为文献管理中的一项重要工作,将HTML页 面信息的抽取机制应用于文献信息的获取与需求匹配有广大 的应用前景. 国内外对Web信息提取已经进行了大量的研究工作,微 软研究院提出了一种根据网页视觉特征的网页信息提取方 法,将页面根据文字大小,颜色等信息划分为视觉块,进而 提取网页的主题信息.但是由于视觉特征的复杂性,很难找 到一个通用的规则集