数据仓库建设方案详细.docxVIP

— PAGE \* Arabic 1 — 数据仓库建设方案详细 第1章数据仓库建设  1.1 数据仓库总体架构  专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。  根据专家系统数据仓库建设目标，结合系统数据业务规，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下：   数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的容：  数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume  及传统的ETL采集工具。  数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。  数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。  数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。  1.2 数据采集  专家系统数据仓库数据采集包括两个部分容：外部数据汇集、部各层数据的提取与加载。外部数据汇集是指从TCMS、车