3 架构师 数据仓库建设灵魂问.docxVIP

架构师 | 数据仓库建设灵魂10问 数据仓库与Python大数据 2021-03-08 以下文章来源于数据爱好者社区 ，作者allenzuo HYPERLINK 数据爱好者社区 . 专注大数据、数据分析、数据仓库、数据大陆与台湾、数据科学、Flink，AI人工智能与面试阅历，副业赚钱与职业规划。 写在前面 笔者先后在外企，互联网，金融行业工作，从最后的ODS，DM架构到后面ODS，DWD，DWS，ADS架构都有较深的理解和应用，甚至在相当长的时间内，数仓设计一直作为一个常规的面试题目，来考核各层级的数仓开发和架构师。然而在实际的沟通的沟通中，发觉很多同学虽然对同样的架构分层设计多多少少都能说出来一些，但是反过来再问为什么这样分层，答案就五花八门了。 这篇文章次要针对数仓设计来谈谈我的看法，由于不同的规模的公司对数仓建设的目的有差异，这里从架构师角度仅争辩中大型企业的数仓架构建设。本文次要以一问一答式来开放争辩。 1.为什么要建数仓？ 这就要从数仓能处理的问题或者痛点来说，大型公司的业务相对简单，随着公司业务的扩大，跨BU，跨BG的业务往来越来越多，而数据一般分散在各个部门，这样需要统一的平台来存储这样的跨系统的数据。此外，近年来分库分表等应用越来越多，仅通过传统关系型数据库做数据分析和挖掘已经不能满足要求。当然随着手机APP的大量使用，埋点等数据一般都以log日志方式