一种全自动生成网页信息抽取Wrapper的方法-中文信息学报.PDFVIP

第 22 卷 　第 1 期 中文信息学报 Vol . 22 , No . 1 2008 年 1 月 J OU RN AL O F C H IN ESE IN FO RMA T ION PROCESSIN G J an . , 2008 文章编号 : (2008) 0 1002208 一种全自动生成网页信息抽取 Wrapper 的方法 1 ,2 1 1 1 1 梅 雪 ,程学旗 ,郭 岩 ,张 刚 ,丁国栋 ( 1. 中国科学院 计算技术研究所 ,北京 100080 ; 2 . 中国科学院 研究生院 ,北京 100049) 摘 　要 : Web 网页信息抽取是近年来广泛关注的话题 。如何最快最准地从大量 Web 网页中获取主要数据成为该 领域的一个研究重点 。文章中提出了一种全自动化生成网页信息抽取 Wrapp er 的方法 。该方法充分利用网页设 计模版的结构化 、层次化特点 ,运用网页链接分类算法和网页结构分离算法 ,抽取出网页中各个信息单元 ,并输出 相应 Wrapp er 。利用 Wrapp er 能够对同类网页自动地进行信息抽取 。实验结果表明 ,该方法同时实现了对网页中 严格的结构化信息和松散的结构化信息的自动化抽取 ,抽取结果达到非常高的准确率 。 关键词 : 计算机应用 ; 中文信息处理 ; 网页信息抽取 ; 网页结构分离 ;包装器 中图分类号 : TP39 1 　　　　文献标识码 : A Fully Automatic Wrapper Generation f or Web Inf ormation Extraction M EI Xue1 ,2 , CH EN G Xueqi 1 , GU O Yan 1 ,ZHAN G Gang1 , DIN G Guodong1 ( 1. In stit ut e of Comp uting Technolo gy , Chinese Academy of Sciences , Beij ing 100080 , China ; 2 . Graduat e U niver sit y of Chinese Academy of Sciences , Beij ing 100049 , China) Abstract : Web information ext raction ha s been a hot topic in recent year s. The challenge i s how to ext ract import ant information f rom a lar ge number of web p ages a s quickly and accurat ely a s it can . In t hi s p ap er a novel met hod i s p ropo sed for fully automatic wrapp er generation for Web information ext raction . Thi s met hod makes u se of st ruct ure of Web t emplat es abundantly . It u ses Web Page Link_ Sort algorit hm and Web Page St ruct ure_ Sep erator algorit hm to ext ract information f rom Web p ages and outp ut a wrapp er accor dingly . Exp eriment al result