中文信息学报web页面信息块的自动分割.pdfVIP

中　文 　信 　息 　学 　报 第 18 卷 第 1 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 18 No1 文章编号 :1003 - 0077 (2004) 0 1 - 0006 - 08 Web 页面信息块的自动分割① 1 1 2 1 瞿有利 ,于 　浩 ,徐国伟 ,西野文人 ( 1 富士通研究开发中心有限公司 ,北京 　1000 16 ;2 株式会社富士通研究所 , 日本 　川崎 　2 11 - 8588) 摘要 :随着 Internet 的发展 ,Web 页面数量的急剧增加 ,如何快速有效地获取信息变得越来越重要 。一类 Web 页面往往包含着多个信息单元 ,它们在展现上排列紧凑 、风格相似 ,在 H TML 语法上具有类似的模式 ,例 如一个 BB S 页面上多个发言 ,每个信息被称为一个信息块 。对于信息抽取 、信息过滤等应用 , 需要首先将原 始页面中分割为若干合适的信息块以便于后续的处理 。本文提出了一种自动将 Web 页面分割为信息块的方 法 :首先通过创建 Web 页面结构化的 HM TL 分析树 ,然后根据包含有效文本量等确定包含信息块的子树 ,最 后根据子树深度信息利用 2 - rank PA T 算法进行分割 。通过对 BB S 页面的信息块抽取实验 ,证明了该方法 的有效性 。 关键词 :计算机应用 ; 中文信息处理 ;Web 页面 ;信息提取 ;信息块 中图分类号 : TP39 1 　　　文献标识码 :A Automatic Segmentation of Web inf ormation block QU Youli1 , YU Hao1 ,XU Guowei2 ,N Isino1 ( 1Fujit su R D center Co . ,L TD . Beijing ,1000 16 , China ;2 Fujit su Laboratories L TD . Kawasaki ,J apan) Abstract :Wit h t he develop ment of t he Internet t he number of t he Web p ages increases dramatically , efficient infor mation extraction from Web p ages becomes more and more important . Some Web p ages often contain multiple infor mation unit s , which are arranged orderly and comp actly wit h same presentation style and similar H TML syntax , for example , a BB S p age t hat contains multiple post s. For information extraction , information filtering and suchlike Web application , we need segment t his kind of original Web p age into several appropriate information blocks as t he preprocessing. This p ap er proposed a new automatic approach to segment t he Web p age into information blocks. First , we construct a structural H TML parsing tree for the Web page , and then l