Deep Web数据获取论文：Deep Web数据源发现及采样研究.docVIP

Deep Web数据获取论文：Deep Web数据源发现与采样研究 【中文摘要】随着技术的进步,知识的积累,越来越多的丰富资源不断地被加入到网络中,使得通过网络就可访问的数据量呈现巨大的增长。尤其是在近一二十年的时间内,随着各种商业应用的广泛推广,各种各样的大型数据库建立起来。银行、商店、学校、学术机构、政府、媒体、图书等等,通过互联网,人们能查到几乎所有领域的信息。由于信息的复杂多样,使得整个Web看似杂乱无章,但如果按这些信息可被访问的途径,可以将其划分为Surface Web(浅层网络)和Deep Web(深层网络)两个部分。一般来说,Surface Web是指那些有固定的超链接地址,能被传统搜索引擎索引或者通过其他页面访问到的静态网页的集合。而Deep Web是指网络中不能被传统搜索引擎索引到的那部分内容,尤其是指那些实时产生的动态页面,如利用JavaS cript等脚本语言动态产生内容的页面。据研究,Deep Web中蕴藏着海量高质量数据,为了能够充分利用这些宝贵的数据资源,以对其进行深入的分析和挖掘,我们必须获取这些高质量的数据。对Deep Web的数据获取过程也是数据集成过程的第一步,其他两个步骤分别为数据抽取和数据整合。数据获取的主要任务就是限定某一特定领域,发现尽可能多的数据源,在对所获取的数据源进行科学评估后,选择优质的数据源,然后,最大限度地获取这些优质数据源