基于改进DSE算法的web信息抽取.pdfVIP

稚 I数 字 技 术 — 广丽 瓣 学术论坛 基于改进DSE算法的web信息抽取 张冬梅 陈钊 陈剑 (北京林业大学信息学院 北京 100083) 摘要 ：随着我 国信息化进程的推进 ，人们开始认识到互联网作为信息来源的重要性，如何更有效地从网络的海量信息中抽取所需要的内容 并进行合理的组织和利用已经成为亟待解决的问题。本文通过对DSE算法和RoadRunner系统中的算法的探讨和改进，提出了一种新的自动生成 模板的信息抽取方法，并且在确定同模板网页url的阈值时引入了生物信息学中的FDR方法，为阂值的确定提出了理论根据。实验结果表明，经 过改进的抽取方法对抽取结果的准确率有着明显的改善作用。 关键词 ：信息抽取 模板 DSERoadRunner文档对象模型 中图分类号：TP391 文献标识码 ：A 文章编号：l007—9416(2012)03．0171—03 InformationExtractionfrom W ebPages Basedon ImprovedDSEAlgorithm ZHANG Dong-mei，CHEN Zhao，CHEN Jian (CollegeofInformation，BeijingForestryUniversity，Beijing100083，China) Abstract：AlongwiththerapiddevelopmentofIntemettechnologyand，moreandmorepeoplebegintorealizetheimportanceofintemetasahuge information sourceThemostimportantproblem tosolveinwebinformationextractionisextractingandorganizingtheinformationfrom theintemet automaticallyandeffectively．BasedontheDSE algorithm andtheRoadRunnersystem toexploreandimprovethealgorithm，weproposeanew automated informationextractionmethodstogeneratethetemplateandthetemplatepagewiththeurlindeterminingthethresholdintoabioinfomr aticsapproachinthe FDR forthedeterminationofthethresholdproposedtheoreticalbasis．Experimentalresultsshow thattheimprovedextractionmethodfortheextractionof theaccuracyoftheresultsofsignificantimprovement． Keywords：informationextraction，template，DSE，RoaRd unner，documentobjectmodel 1、引言 源进行加工和提取，直接抽出用户感兴趣的一部分 内容返回给用 随着网络的推广与普及，网页已经成为人们获取、交换和发布 户 。 信息的重要途径。CNNIC(中国互联网络信息中心)在2010年1月15 常见的文本信息可以分为三种：自由文本、结构化文本和半结 日公布的 第25次中国互联网络发展状况统计报告》显示，截至2009 构化文本。陈治昂f4]、刘亚东5【l、赵欣欣6[]、杨桢 等人均认为Web信息 年12月，我国网民规模已达3．84亿，互联网普及率进一步提升，达到 为半结构化。尽管当前大多数网页都遵循W3C的DOM[s1树状结构， 28．9％，网络新闻和搜索引擎的使用率分别 占80．1％和73．3％。然而 但是在网页中确实充斥