基于行块分布函数的通用网页正文抽取.pdfVIP

基于行块分布函数的通用网页正文抽取 陈 鑫 (Xin Chen) 哈尔滨工业大学社会计算与信息检索研究中心 （HIT-SCIR ） / Google Code 开源网址址:/p/cx-extractor/ 新浪微博: /cx3180 腾讯微博: /cx3180 欢迎意见和建议: xchen@ 前言 对于Web 信息检索来说，网页正文抽取是后续处理的关键。虽然使用正则表 达式可以准确的抽取某一固定格式的页面，但面对形形色色的HTML，使用规则 处理难免捉襟见肘。 能不能高效、准确的将一个页面的正文抽取出来，并做到在大规模网页范围 内通用，这是一个直接关系上层应用的难题。 采用建 DOM 树的方法虽然直观也有效，但建树和搜索是多项式时间，且饱 受病态HTML 的痛苦；采用机器学习或数据挖掘的方法未免有些小题大做。 本算法首次将网页正文抽取问题转化为求页面的行块分布函数，并完全脱离 HTML 标签。通过线性时间建立行块分布函数图，由此图可以直接高效、准确的 定位网页正文。同时采用统计与规则相结合的方法来解决系统的通用性问题。 本系统的设计与实现只为践行“简单的事情总应该用最简单的办法来解决”这 一亘古不变的道理。整个算法实现不足百行代码。我却相信：量不在多，在法。 一、选题背景 正文抽取在信息检索系统中有重要的作用。大多数网页中除了包含有用信 息 （正文）外还包含许多噪声信息，例如网站的导航信息、相关链接和广告以及 一些脚本语言等。如果一个信息检索系统是基于网页正文内容进行的，那么当用 户输入查询关键词后，系统只是查找出正文部分和用户查询匹配的网页返回给用 户，这样使得检索出的网页与用户需要更加匹配，从而使用户可以更快地找到自 己所需的内容。另外，基于正文的网页去重、分类聚类以及文摘等的结果都会更 加准确。 如果把完成一个完整通用的信息检索系统类比为烹制一顿美味佳肴，分词 看做是切菜，那么正文提取则是切菜前必需的原料级加工——择菜。因为再出色 的厨师也无法将带有黄叶和泥巴的菜做成佳肴，所以正文提取的任务就是把菜择 好。 二、系统功能 本系统分在线和离线两种运行方式。 在线状态下，输入是一文本文件，里面包含要进行正文抽取的URL，每个URL 单独一行；离线状态下，输入是一文件夹，里面包含了所有要进行正文抽取的 HTML 源文件。 哈尔滨工业大学信息检索研究中心 (HIT-CIR) 两种运行状态下的输出都是经过正文提取后的文本，具体格式如图1 所示。 图1：系统输出文件的格式，包括题目、关键字、发布日期和正文等 三、系统框架 图2： 系统流程图 四、现有方法的不足 1 哈尔滨工业大学信息检索研究中心 (HIT-CIR) 现有第一类方法：基于Dom 树 1、利用开源包HTML Tidy 处理HTML，更正其中错误或不规范的地方； 2、根据较规范的 HTML 建立 Dom 树，然后递归遍历 Dom 树，比较并识别各种 非正文信息，包括广告、链接群和非重要节点信息；  广告信息移除：需要建立经常更新的广告服务器列表；  链接群移除：计算网页包含的链接个数同非链接的词个数的比例； 3、非正文信息移除后，Dom 树中剩余的内容就是正文信息，直接从余下的树节 点中抽取。 存在问题：Dom 树的建立对HTML 是否良构要求较高，而且树的建立和遍历时空 复杂度高，树遍历方法也因HTML 标签不同会有差异。 代表性论文： [1]基于结构树解析的网页正文抽取方法, 刘秉权,王喻红等； [2]基于统计的网页正文信息抽取方法的研究, 孙承杰,关毅； 现有第二类方法：基于网页分割找正文块 1、网页正确分割后，正文提取工作简化为对正文块的判断； 2、分割是利用 HTML 标签中的分隔线以及一些视觉