b信息抽取系统的设计与应用.pdfVIP

《现代图书情报技术》版权所有，欢迎下载引用！ 请注明引用地址：基于Ｗｅｂ－Ｈａｒｖｅｓｔ的Ｗｅｂ信息抽取系统的设计与应用［Ｊ］，现代图书情报技术，２０１０（３）：７６－８１． 应用实践 基于Ｗｅｂ－Ｈａｒｖｅｓｔ的Ｗｅｂ信息抽取系统的 设计与应用 詹佳佳 （中山大学资讯管理系　广州５１０００６） 【摘要】详细介绍信息抽取开源软件Ｗｅｂ－Ｈａｒｖｅｓｔ，并在其基础之上进行功能扩展和改进，设计一个通用性强的 Ｗｅｂ信息抽取系统，重点阐述开发系统的设计思想和系统流程，并简单介绍系统的数据库表设计。最后，介绍该 Ｗｅｂ信息抽取系统的应用。 【关键词】Ｗｅｂ－Ｈａｒｖｅｓｔ　Ｗｅｂ信息抽取 【分类号】Ｇ２５０．７６ ＴｈｅＤｅｓｉｇｎａｎｄＡｐｐｌｉｃａｔｉｏｎｏｆａＷｅｂＩｎｆｏｒｍａｔｉｏｎＥｘｔｒａｃｔｉｏｎＳｙｓｔｅｍ ＢａｓｅｄｏｎＷｅｂ－Ｈａｒｖｅｓｔ ＺｈａｎＪｉａｊｉａ （ＤｅｐａｒｔｍｅｎｔｏｆＩｎｆｏｒｍａｔｉｏｎＭａｎａｇｅｍｅｎｔ，ＳｕｎＹａｔ－ＳｅｎＵｎｉｖｅｒｓｉｔｙ，Ｇｕａｎｇｚｈｏｕ５１０００６，Ｃｈｉｎａ） 【Ａｂｓｔｒａｃｔ】Ｉｎｔｈｉｓｐａｐｅｒ，ａｎｏｐｅｎｓｏｕｒｃｅｓｏｆｔｗａｒｅｆｏｒｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎｃａｌｌｅｄＷｅｂ－Ｈａｒｖｅｓｔｉｓｄｅｔａｉｌｌｙｉｎｔｒｏｄｕｃｅｄ ｆｉｒｓｔｌｙ．Ｗｉｔｈｆｕｎｃｔｉｏｎａｌｅｘｐａｎｓｉｏｎａｎｄｉｍｐｒｏｖｅｍｅｎｔ，ａＷｅｂｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎＷｅｂ－Ｈａｒｖｅｓｔｉｓ ｄｅｓｉｇｎｅｄ．Ｔｈｅｐａｐｅｒｆｏｃｕｓｅｓｏｎｔｈｅｓｙｓｔｅｍｄｅｓｉｇｎｉｄｅａａｎｄｓｙｓｔｅｍｐｒｏｃｅｓｓ，ａｎｄｔｈｅｄｅｓｉｇｎｏｆｄａｔａｂａｓｅｔａｂｌｅｓｉｓａｌｓｏｂｒｉｅｆｌｙ ｄｅｓｃｒｉｂｅｄ．Ｆｉｎａｌｌｙ，ｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆｔｈｅｓｙｓｔｅｍｉｓｉｎｔｒｏｄｕｃｅｄ． 【Ｋｅｙｗｏｒｄｓ】Ｗｅｂ－Ｈａｒｖｅｓｔ　Ｗｅｂｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎ １　引　言 　　随着Ｉｎｔｅｒｎｅｔ的发展，网络上信息资源越来越丰富。由于某种研究或应用的需要，组织和个人往往会通过人 工或者程序来获取网络上的各种信息。例如，政府会通过监测网络舆论以及时控制非法舆论的传播；企业会通过 浏览竞争对手的网站来获取竞争情报；消费者会通过比较各个商家提供的产品信息（如价格等）来进行购物决策 等。因此，如何在“信息海洋”中快速准确地采集有用信息，成为各种信息应用的关键研究课题。 　　信息抽取（ＩｎｆｏｒｍａｔｉｏｎＥｘｔｒａｃｔｉｏｎ，ＩＥ）正是解决这个问题的一种方法。它把文本里包含的信息进行结构化处理， ［１］ 变成表格一样的组织形式 ，以供后续应用。而Ｗｅｂ信息抽取则是从 Ｗｅｂ页面所包含的无结构或半结构的信息中 ［２］ 识别用户感兴趣的数据，并将其转化为结构和语义更为清晰的格式（ＸＭＬ、关系数据、面向对象的数据等） 。 ２　需求及技术思路 ２．１　国内外的应用现状 　　近年来，国内外涌现出多种可行的信息提取方法，其中基于包装器进行抽取是比较实用的。李宏伟等人针对 　　收稿日期：２０１０－０１－２８ 　　收修改稿日期：２０１０－０２－１２ 　　　７６　现代图书情报技术 总第１９０期　２０１０年　第３期 网页结构的不确定性和易变性，设计了一种基于预定 有用数据的方法。它主要运用了ＸＳＬＴ、ＸＱｕｅｒｙ、正则 ［３］ ［１０］ 义模式的Ｗｅｂ包装器进行信息抽取 。这种方法采 表达式等技术来实现对Ｔｅｘｔ／ＸＭＬ的操作 。 用预定义的方式，其缺点是采用手工操作，比较复杂。 　　相比其他抽取工具，Ｗｅｂ－Ｈａｒｖｅｓｔ具有以下优点： 针对这种不足，有学者提出一种包装器产生系统和基 　　（１）通过执行基于ＸＭＬ配置文件的方式来实现信 于激发学习的框架，通过设计一个用户交互接口来实