数据仓库建设方案.pdf

第 1章 数据仓库建设 1.1 数据仓库总体架构 专家系统接收增购项目车辆 TCMS或其他子系统通过车地通信传输的实时或离 线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示 分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修 复提供必要的支持。 根据专家系统数据仓库建设目标， 结合系统数据业务规范， 包括数据采集频率、 数据采集量等相关因素，设计专家系统数据仓库架构如下： 数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几 个方面的内容： 数据采集：负责从各业务自系统中汇集信息数据， 系统支撑 Kafka、Storm、Flume 及传统的 ETL采集工具。 数据存储： 本系统提供 Hdfs、Hbase及 RDBMS相结合的存储模式， 支持海量数 据的分布式存储。 数据分析：数据仓库体系支持传统的 OLAP分析及基于 Spark 常规机器学习算 法。 数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理 和调度，并对外提供数据服务。 1.2 数据采集 专家系统数据仓库数据采集包括两个部分内容：外部数据汇集、内部各层数据 的提取与加载。外部数据汇集是指从 TCMS、车载子系统等外部信息系统汇集数据 到专家数据仓库的操作型存储层 （ODS）；内部各层数据的提取与加载是指数据仓库 各存储层间的数据提取、转换与加载。 1.2.1 外部数据汇集 专家数据仓库数据源包括列车监控与检测系统（ TCMS）、车载子系统等相关子 系统，数据采集的内容分为实时数据采集和定时数据采集两大类，实时数据采集主 要对于各项检测指标数据；非实时采集包括日检修数据等。 根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的 特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞 吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行 灵活配置横向扩展。 本方案在数据采集架构采用 Flume+Kafka+Storm的组合架构，采用 Flume和 ETL 工具作为 Kafka 的 Producer，采用 Storm 作为 Kafka 的 Consumer，Storm 可实现对海 量数据的实时处理，及时对问题指标进行预警。具体采集系统技术结构图如下 : 1.2.1.1 数据汇集架构功能 Flume 提供了从 console(控制台 )、RPC(Thrift-RPC)、text( 文件 )、tail(UNIX tail) 、 syslog(syslog日志系统，支持 TCP和 UDP等 2 种模式 )，exec(命令执行 )等数据源上 收集数据的能力。 Flume 的数据接受方，可以是 console(控制台 ) 、text(文件 )、dfs(HDFS 文件 )、RPC(Thrift-RPC)和 syslogTCP(TCPsyslog 日志系统 )等。在我们系统中由 kafka 来接收。 Kafka 分布式消息队列，支撑系统性能横向扩展，通过增加 broker 来提高系统 的性能。 Storm 流处理技术， 支撑 Supervisor 横向扩展以提高系统的扩展性和数据处理的实 时性。 1.2.1.2 采集架构优势 (一 ) 解耦 在项目中要平衡数据的汇集与数据的处理性能平衡，是极其困难的。消息队 列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程 都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保 它们遵守同样的接口约束。 冗余 有些情况下， 处理数据的过程会失败。 除非数据被持久化， 否则将造成丢失。 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了 数据丢失风险。在被许多消息队列所采用的“插