大数据采集整编系统解决方案.docx

大数据采集整编系统解决方案 大数据采集整编系统解决方案 一、系统功能概述 本系统旨在解决XXX系统、行业部委的交换数据、互联网上的相关数据等分散在不同数据来源的问题，将这些数据统一汇集到统一的服务中，并实现数据的动态更新。根据数据调研成果，我们确定了各应用系统的数据对象、数据关系、数据结构、数据字典等，并确定了采集各应用系统数据的具体方式，包括数据抽取、服务接口、数据直报等多渠道数据接入方式。 数据采集整编子系统主要包括通用数据填报、网络情报数据采集和数据整编等三大模块，系统架构如下图： 二、数据流转块设计 如上图所示，我们通过通用的报表软件，支持多样化、个性化设置，统一访问管理模板，实现自