9 如果你也想做实时数仓….docxVIP

假如你也想做实时数仓… 2.数据仓库的进展 数据仓库有两个环节：数据仓库的构建与数据仓库的应用。 晚期数据仓库构建次要指的是把企业的业务数据库如 ERP、CRM、SCM 等数据依据决策分析的要求建模并汇总到数据仓库引擎中，其应用以报表为主，目的是支持管理层和业务人员决策（中长期策略型决策）。 随着业务和环境的进展，这两方面都在发生着猛烈变化。 随着IT技术走向互联网、移动化，数据源变得越来越丰富，在原来业务数据库的基础上消灭了非结构化数据，比如网站 log，IoT 设备数据，APP 埋点数据等，这些数据量比以往结构化的数据大了几个量级，对 ETL 过程、存储都提出了更高的要求； 互联网的在线特性也将业务需求推向了实时化，随时依据当前客户行为而调整策略变得越来越常见，比如大促过程中库存管理，运营管理等（即既有中远期策略型，也有短期操作型）；同时公司业务互联网化之后导致同时服务的客户剧增，有些情况人工难以完全处理，这就需要机器自动决策。比如欺诈检测和用户审核。 总结来看，对数据仓库的需求可以笼统成两方面：实时产生结果、处理和保存大量异构数据。 注：这里不争辩数据湖技术。 3.数据仓库建设方法论 3.1 面对主题 从公司业务动身，是分析的宏观领域，比如供应商主题、商品主题、客户主题和仓库主题 3.2 为多维数据分析服务 数据报表；数据立方体，上卷、下钻、切片、旋转等分析功能。 3.3 反