大数据采集整编系统解决方案.docxVIP

大数据采集整编系统解决方案 一、系统功能概述 数据采集整编子系统主要包括通用数据填报、网络情报数据采集和数据整编等三大模块，系统架构如下图： 二、数据流转块设计 如上图所示，通过通用的报表软件，支持多样化、个性化设置，统一访问管理模板，实现自定义报表的数据采集功能，大大提升数据采集效率。部署互联网、行业网等数据采集Scrapy引擎以及采集配置管理系统、数据库和文件系统。基于配置的采集规则（网站URL、采集时间设置等），Scrapy引擎抓取网站数据并存于本地数据库和文件系统中。爬取的互联网等网络数据结果以文件形式传输至内网侧，数据服务平台的ETL工具将内网侧的互联网爬虫数据，批量抽取到数据仓