数据仓库建设专项方案.docxVIP

数据仓库建设 数据仓库总体架构 教授系统接收增购项目车辆TCMS或其它子系统经过车地通信传输实时或离线数据，经过一系列综合诊疗分析，以多种报表图形或信息推送形式向用户展示分析结果。针对诊疗出车辆故障将给出教授提议处理方法，为车辆故障根因修复提供必需支持。 依据教授系统数据仓库建设目标，结合系统数据业务规范，包含数据采集频率、数据采集量等相关原因，设计教授系统数据仓库架构以下： 数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等多个方面内容： 数据采集：负责从各业务自系统中聚集信息数据，系统支撑Kafka、Storm、Flume及传统ETL采集工具。 数据存放：本系统提供Hdfs、Hbase及RDBMS相结合存放模式，支持海量数据分布式存放。 数据分析：数据仓库体系支持传统OLAP分析及基于Spark常规机器学习算法。 数据服务总线：数据系统提供数据服务总线服务，实现对数据资源统一管理和调度，并对外提供数据服务。 数据采集 教授系统数据仓库数据采集包含两个部分内容：外部数据聚集、内部各层数据提取和加载。外部数据聚集是指从TCMS、车载子系统等外部信息系统聚集数据到教授数据仓库操作型存放层（ODS）；内部各层数据提取和加载是指数据仓库各存放层间数据提取、转换和加载。 外部数据聚集 教授数据仓库数据源包含列车监控和检测系统（TCMS）、车载子系统等相关子系统，数据采集内容