西南交通大学地球科学与环境工程学院-曾李阳-2-基于分布式网络爬虫的Web空间数据获取方法研究.pdfVIP

注册号： 主题：02. 空间大数据与云计算 基于分布式网络爬虫的Web 空间数据获取方法研究 1,2 1 2 2 曾李阳 ，齐华 ，任春雷 ，张尧 1.西南交通大学地球科学与环境工程学院，四川 成都，611756 ，906428469@ 2. 四川省基础地理信息中心，四川 成都 610041 摘要：随着大数据时代的来临，互联网上空间数据的来源越来越多、规模越来越大、更 新速度越来越快，采用单机网络爬虫获取 Web 空间数据由于受到抓取覆盖率和抓取时 间性能瓶颈的限制，难以保证抓取数据的及时性和全面性。因此本文研究了基于分布式 网络爬虫的 Web 空间数据获取方法，不是通过增加单个爬虫系统的负荷而是通过增加 更多的爬虫系统成员来提高数据获取的性能和效率。同时设计和实现了基于分布式网络 爬虫的 Web 空间数据获取原型系统，通过对原型系统进行测试证实了本文所述方法的 有效性。 关键词: Web 空间数据；单机网络爬虫；分布式网络爬虫；原型系统 1 引言 GIS 是一门以数据为基础的学科，空间分析、空间统计和空间数据挖掘等研究都离 不开空间数