面向电子商务的Deep Web数据集成研究.pdfVIP

第21卷 第2期 宁波大学学报 (理工版 ) 、 1．2l NO 2 2008年6月 JOURNAL OF NINGBO UNIVERSITY(NSEE) June 2008 文章编号：1()()1—51 32(2008)02．0201．05 面向电子商务的Deep Web数据集成研究 张大吉 (宁波大学 书馆，浙江 宁波 315211) 摘要：随着Internet信息的迅速增长与网络技术的不断进步，越来越多的数据库可以通过网络查 询接口直接访问，包含这种类型数据库的Web被称为Deep Web．互联网中的Deep Web数据存 储量非常庞大，而其中大部分是电子商务数据．本文提出了电子商务Deep web数据集成系统架 构，并对其中关键问题进行了介绍，包括Deep Web的发现、接口的抽取与集成、结果的抽取与 整合等． 关键词：Deep web；数据集成；电子商务；Web数据库 中图分类号：TP393 文献标识码：A 近来，随着互联 络的迅猛发展，web中所隐 究Deep Web数据库集成的应用 藏的巨量信息越来越受到人们的关注．根据数据 的分布状况，Web可以分为：Surface Web~llDeep 1 电子商务Deep W_eb数据集成系统 Web．Surface Web是指可以通过超链接或者传统 架构 页搜索引擎访问到的 页、文件等资源．它一般以 静态网页构成为主．而Deep Web可以简单的概述 互联网中，电子商务的数据信息是巨大的，它 为那些难以通过普通搜索引擎发现的资源的集合． 们大部分储存在电子商务 站(淘宝、EBAY等)的 主要包括存储在Web数据库里大量资源，需要通过 Web数据库中，用户只能通过某个 站的查询接口 动态 页技术才能访问．据统汁…．Deep Webftrq数 (如图 1)查询并获得其Web数据库的信息。本文给 据存储量是Surface Webf(q 400～550倍．2004年互 出了一个电子商务Deep web数据集成系统架构， 联网上的web数据库已经达到了450 000多个，信 通过该系统用户可以查淘到 络L}J的电子商务 息量超过了200 000 TB，并且这个数据还在不断地 Deep Web数据(商品信息等)，从而选择最合适自己 增大． 一方面，Deep Web后台的数据库一般为结 的商品进行交易． 构化的关系数据库，质量都比较高，因此通过Deep 在这个电子商务Deep web数据集成系统中， Web的数据集成来更有效地利用Deep Web丰富的 主要有以下3个关键的步骤：(1)发现电子商务Deep 数据是十分有意义的、本文将从电子商务的角度研 Web；(2)查询接L1抽取与集成；(3)结果抽取与整合。 收稿日期：2007—12·10 宁波大学学报 (理工版) 址：http：／／3xb nbu．edu cn 基金项目： 家自然科学基金(0773064)；浙江省自然科学基金 (Y105625)． 作者简介：张大古(1981一)、男、四川彭州人，助理馆员、主要研究方向：数据挖掘及数据库．E-mail：beyond@nbu．edu．cn 202 宁波大学学报 (理工版) 2008 图 1 淘宝网和拍拍网的查询接口 图2 整体架构 图2给出了该系统的整体架构 的，代价也过于昂贵，因此一般不采用这种方法． 第2种