中小型企业大数据分析系统的设计与实现.docxVIP

中小型企业大数据分析系统的设计与实现

摘要

随着大数据时代的到来，中小型企业面临着海量数据的挑战和机遇。本文提出了一种面向中小型企业的金融数据分析平台设计，并基于Hadoop和Spark技术完成了平台的具体实现。平台通过采集企业供应链数据、财务数据等，并依靠数据仓库技术对这些企业级数据进行智能化处理，最终形成了数据集市初步实现数据的多维度分析，持有为中小型企业决策提供实时有效的数据支撑，提升企业竞争力。

系统总体设计

系统架构

系统采用三层架构设计:数据采集层,数据存储与分析层。

数据呈现层

数据采集模块

数据采集模块包括企业财会数据采集。

供应链数据采集、客户服务数据采集和外部经济数据采集。

主要用到csv格式数据导入工具,数据抓取框架和

数据库表对接技术

数据处理模块(ETLprocessing)

采用Spark+Hive的一个ETL工具链;通过数据同步。

数据清洗、主外键关联、维度属性转换等步骤完成

数据加工

图像分析模块

统计分析:

无季节性、膨胀率趋势分析

折线图显示指标变化曲线

Excel表数据输出

多维度分析:

多维度交叉分析其财务指标体系

直观实现升降分析、差值分析

用户画像:

基于客户交易数据生成用户标签库

客户价值-时间特征-生命周期分析

数据存储模块

(1)HDFS集群:存储原始数据

(2)Hive仓库:存储企业级数据

(3)HBase:存储实时数据

(4)