网页正文提取技术的分析与研究.pdfVIP

计算机光盘软件与应用 2012年第22期 ComputerCDSoftwareandApplications 工程技术 网页正文提取技术的分析与研究 杨丽萍 (三江学院，南京 210012) 摘要：随着互联网应用的不断开发，基于网页正文提取的技术层出不穷。几种 比较经典的提取模型包括：基于DOM 树 网页提取模型、基于统计的网页提取模型、基于分块的网页提取模型。本文对网页正文提取技术的综合分析与研究， 各种网页提取算法的优劣。 关键词：网页正文提取技术；经典提取模型的分析与研究 中图分类号：TP301．6 文献标识码：A 文章编号：1007—9599(2012)22—0115—02 1 引言 的缺点，它具有了一定的普遍性。不需要样本学习，也大 随着信息技术的迅速发展，基于互联网的应用越来越 大提高了正文抽取的速度。 多的受到人们关注。Www 以超文本的形式给用户提供多 Finn等人将 HTML看作是字符和标签组成的序列，判 种类别和形式的信息 (包括技术资料、商业信息、新闻报 断文字是否为正文的依据是使用文本和HTML代码的密度， 道、娱乐信息等)。可以说，WWw 是当今世界上最大的 从而在字符集中的区域提取文字。基本的处理工作如下： 电子信息库，蕴含着许多具有潜在价值的知识。根据中国 (1)解析HTML代码并记下处理的字节数； (2)以 互联网信息中心 (CNNIC)最新报告显示，截至 2011年 6 行或段的形式保存解析输出的文本； (3)统计每一行文本 月，中国网民规模达到4．85亿，较2010年底增加2770万 对应的HTML代码的字节数； (4)通过计算文本相对于 人；互联网普及率攀升至36．2％，较2010年提高 1．9个百 字节数的比率来获取文本密度； (5)最后用神经网络来决 分点。我国手机网民规模为 3．18亿，较 2010年底增加了 定这一行是不是文本的一部分。 1494万人。手机网民在总体网民中的比例达 65．5％，成为 李蕾等人提出了一种基于快速傅立叶变换 (FFT)的 中国网民的重要组成部分。人们可以借助移动设备 以及计 网页正文内容提取算法。采用窗口分段的方法，利用统计 算机，通过互联网寻找任何 自己想要的信息，然而，互联 学原理和 FFT， 得出每个可能区间的权值， 从而求解出 网又是一个具有开放性、异构性以及动态性的分布式网络， 最佳正文区间。其基本步骤如下： 其资源分布分散、管理结构不一，这就导致了知识获取的 (1)读入HTML文件，转换为Unicode代码； (2) 困难 。如何准确识别并有效提取包含在Web网页中的正文 采用窗口分段的方法，将文件切分成若干等长窗口段；(3) 内容是 web智能信息检索 1【J、文档 自动摘要L3j、用户浏 应用统计学原理，对字符进行强制编码转换； (4)对每一 览体验等诸多领域的重要工作之一。 段窗 口作FFT，得到频域的F向量；(5)各段频域互相求 2 基于DOM树的网页正文提取技术 差；(6)计算每个区间的权值； (7)依据权值排序； (8) 目前在网页信息抽取技术中研究得最多的基于 DOM 加权平均。 的网页抽取技术，它历属于 自动训练的研究方法，也是近 这些方法不必知道HTML网页文件的结构和它所使用 些年来发展得最好的技术方法。DOM就是文档对象模型， 的lable标签，不管是含有文本内容的新闻文章还是博客页 全称为DocumentobjectModel，它将 HTML文档里的标签 面，它都能有效的工作。但这种方法对于有表格和链接等 信息，如Table，List等利用起来，把文档解析成一个逻辑 标签结构的网页，不能有效的工作 ，它仅适用于正文文字 树型结构，节点就是对象。构建完 DOM 树后，通过将各 较集中的网页。 个节点遍历，对各种非正文信息包括广告，链接群等识