网页结构化信息抽取技术方法研究_郝爱峰.pdfVIP

山西电子技术 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 研究探讨 2008 年第 4 期 网页结构化信息抽取技术方法研究 郝爱峰 (忻州师范学院 ,山西 忻州 034 100) 摘 　要 :分析了两种当前主流的网页结构化信息抽取技术方法 :基于模版的分装器方法和不依赖模版的基于 视觉的网页信息抽取技术方法 ,并在此基础上实现了一种新的网页结构化信息抽取算法 ,一定程度上提高了抽取 效率和精度 。 关键词 :垂直搜索引擎 ;信息抽取 ;分装器 ;模版 中图分类号 : TP39 1 　　文献标识码 :A 0 　引言 对某一特定信息源的 IE 应用系统 。 1 . 2 　基于视觉分析的网页信息抽取技术 搜索引擎自 1994 年面世后 ,迅速成为人们网上搜索的 基于 Web 视觉分析的信息抽取的主要依据是在同一个 有效工具 。目前 ,尽管搜索引擎的发展已较成熟 ,但要准确 、 网页中待提取信息在视觉样式上往往有着相同的特征 ,且待 快速地查找所需信息却越来越困难 。在这种情况下垂直搜 提取信息在视觉样式与其它信息有着明显的分隔符 ;根据这 索引擎的应运而生 ,垂直搜索引擎 ,即专业或专用搜索引擎 , 一原则该方法首先就是要找出这些可视化的线索 ,然后再根 就是专为查询某一学科或主题的信息而产生的查询工具 ,对 据这些线索来进行信息抽取 。为此 ,可将 Ht ml 元素分成以 解决实际查询问题要比搜索引擎门户有效得多 。垂直搜索 下几类 :1) 简单对象 :不能包含其它 ht ml 元素的元素 ,如 引擎是有相当的发展前景的 ,而 web 结构化信息抽取的技术 mig 、 hr 等 ;2) 容器对象 : 由至少一个简单对象和其它 水平是决定垂直搜索引擎质量的重要技术指标 ,因此结构化 的信息抽取技术成为了垂直搜索引擎的关键技术之一 。 容器对象组成的 ht ml 元素 ,如 table ;3) 分组对象 :全部 由简单对象组成的元素 。该方法首先分析简单对象的视觉 ( ) 信息抽取 Information Extraction : IE 是把文本里包含 的信息进行结构化处理 ,变成表格一样的组织形式 。输入信 特征 ,然后在从里层到外层依次分析分组对象或容器对象 , 息抽取系统的是原始文本 ,输出的是固定格式的信息点 。信 它的难点在于分析过程中既有精确的分析又有模糊分析 ; 网 息抽取技术对于从大量的文档中抽取需要的特定事实来说 页分析完成后再对结果进行频率分析 , 以推导出哪些对象是 是非常有用的 ,互联网上就存在着这么一个文档库 。结构化 要抽取的信息 。 信息抽取就是将网页的非结构化数据抽取成特定的结构化 2 　系统的设计和实现 信息数据 。它是垂直搜索引擎和通用搜索引擎最大的差别 。 由于本系统只是为了实现并测试所设计的信息抽取算 网页结构化