基于层次关联边条件随机场的Web对象抽取.pdfVIP

第 38卷第 20 期 Vo1.38 NO.20 计算机工程 Computer Engineering 2012 年 10 月 October 2012 ·软件技术与数据库· 文章编号. 100←3428(2012)2伽-0045→4 文民标识码. A 牢固分鬓号: TP311 基于层次关联边条件随机场的 Web 对象抽取 胡丽娟，果久祯 υ (江南大学物联网工程学院，江苏无锡 214122) 摘要z 提出一种基于层次关联边条件随机场(HCC-CRFs)模型的 Web 对象他取方法。将数据块检测和属性标注合并为标签分配问题，避 免误差传播现象。通过在数据块之l可增加条件依赖关系，使 HCC-CRFs 模型能充分利用 Web 页面的内容层次结构。实验结果表明，该方 法具有较好的抽取效果。 关键词: Web 对象;信息抽取;数据块检测;属性标注;条件随机场;层次关联边 Web Object Extraction ?ased on Hierarchical Correlative-chain Conditional Random Fields HU Li才uan， LIANG Jiu-zhen (School ofInternet of Things Engineering, Jiangnan University, Wuxi 214122, China) I Abstract This paper presents a Web object eλtraction rnethod based on Hierarchícal Correlatíve-chain Conditíonal Random Fields(HCC-CRFs) model. This method performs data record detection and attribu句s labeling simultaneously to avoid error propagation. It can get 也e most out of the content hierarchy of Web page by adding more conditional dependencies between data record. Experimental results show this method has good extraction effect. IKey words Web object; i曲rmaUon ex位action; data block detection; attribute labeling; Conditional Random Fields(C盯s); hierarchical correlative-chain DOI: 10.3969Jj.issn.l000-3428.2012.20.012 1 概述 互联网是一个巨大且迅速增长的信息库，包含大量有 价值的信息，其中很大一部分是描述现实世界对象的信 息，比如商品、饭店等。这样一类由多个数据元素及属性 标签按照特定模式组织在一起的半结构化数据对象称为 Web 对象[1]。如果将这些大量的 Web 对象信息从网页中抽 取出来并存储在关系数据库中，则可以用于进一步的知识 发现、数据挖掘以及构建垂直搜索引擎等，提高互联网上 信息的利用率。本文主要研究自动将 Web 对象信息从网 页中抽取出来这一问题。 现有的 Web 对象抽取方法通常将抽取过程分为 2 步: 对象数据块检测和属性标注。对象数据块检测主要是对包 含 Web 对象信息的最小数据块进行定位，常用方法有 DEPTA[2)算法和 BIM[3)算法等，而属性标注是为最小数据 块中的每个数据元素标注上属性标签，最常使用的是条件 随机场模型。条件随机场是一种序列标注学习模型，它无 需假设特征之间彼此独立，还克服了标签偏置问题，是很 好的统计机器学习模型。文献[4-5]使用对象数据块检测和 基金项目:国家自然科学基金资助项目 属性标注相结合的方法在 Web 对象抽取上取得一定效果。 但这种抽取方法有 2 个缺点: (1)存在误差传播现象，即数据块检测产生的误差会进 一步传播到属性标注上，从而使整体抽取效果有限。 (2)传统统性条件随机场(Conditional Random Fields, CRFs)无法对网页内容结构很好的建模，当用线性条件随 机场对 Web 对象块进行抽取时，需要将对象块转化为对 象元素的线性序列[6]，没有利用到 Web 页面的内容层次关 系，影响了抽取效果。 针对以上缺点，本文提出→种基于层次关联边条件随 机场 (Hierarchical Correlative