基于CSS的网页分割算法手册.pdfVIP

第 29卷第 9期 微 　计 　算 　机 　应 　用 Vo l29 No9 2008年 9 月 M ICROCOM PU TER A PPL ICA T ION S Sep 2008 基于 CSS的网页分割算法 1, 2 1, 2 2 2 孙晓辉 　刘建 　王劲林 　陈晓 ( 1 2 ) 中国科学院研究生院　北京 　100190　 国家网络新媒体技术工程研究中心 　北京 　100190 摘要 :在页面变换 ,信息抽取 ,信息过滤等应用中 ,首先需要将原始页面分割成为若干合适的信息块以便于后续的处理 。本文 提出了一种基于 CSS的网页分割算法 ,通过对网页进行解析和布局处理 ,提取出其中的 CSS信息 ,并且使用重复模式检测和 聚类的方法对生成的 CSS树进行分割 。试验证明该方法能够有效地分割网页 ,并且不依赖于特定的浏览器 ,适合嵌入式系统 使用 。 关键词 :网页分割 　HTM L 　C SS　聚类 　信息块 C SS Ba sed Segm en ta tion of W eb Pages 1, 2 1, 2 2 2 SUN Xaohu i , L IU J ian , WAN G J in lin , CHEN X iao ( 1 Guaduate U n iversity of Ch inese A cadem y of Sciences, B eij ing, 100190, Ch ina 2N ational N etwork N ew M edia Engineering R e search Cen ter, B eij ing, 100 190 , Ch ina) A b stract: A s a p rep roce ssing p roce ss, web p age segm entation is important for webp age tran scoding, inform ation extraction and infor m ation filtering. A CSS ba sed segm en tation algorithm is p ropo sed, wh ich u tilize s p arsing and layou t of web p age s to extract CSS infor m ation , then a dup licate p attern detection and clu stering m ethod is app lied for sp litting. The exp erim en t re su lts show that the m ethod is effective and doe s not dep end on sp ecific b row ser, wh ich m ake s it su itab le for embedded app lication s. Keyword s: web p age segm entation, H TML , CSS, clu stering, inform ation b lock 1　引言 网页分割在搜索引擎优化 ,文档聚类 ,信息抽取 ,主题信息采集以及网页的适配处理等方面具有重要的 作用 。通