聊聊数据仓库建设.docxVIP

聊聊数据仓库建设 数仓次要是围围着数据使用方与数据开发方诉求进行建设；因而在开头规划数仓建设时，需要先剖析各方需求、痛点与痒点，然后再在这些诉求设计处理方案与确定建设内容。数据使用方次要诉求是能不能快速找到、找到怎样用、有哪些数据，在使用数据时，次要存在三大类问题： 找不到，不晓得数据有没有、在哪里。 看不懂，有很多业务方不是技术研发团队的，看不懂数据到底什么含义、怎样关联查询、来源于哪个业务系统。 不会用，如何写 SQL 或者哪些产品里面能查询到本人想要的数据目标。 因而针对数据使用方，在数仓建设过程中需要满足：找得到、看得懂、用得对数据开发工程师更多是关注数据开发便利性、高效性与快速定位问题，因而数据开发方次要是以下几点诉求： 数据复用：数据需求烟囱式开发，导致了大量反复规律代码的研发，通过数据复用可以缩短数据需求交付，提高数据开发效率，满足业务对数据的灵敏研发要求。 问题追踪：在数据处理过程与数据质量分析过程可以快速定位问题源头。 影响分析：可以快速高效对数据规章修改或数据上下架影响进行分析。 数仓建设内容 明确数仓建设目标之后，次要是从以下几个方面搭建数仓力量： 分层架构：分层架构可以简化数据清洗的过程、为数据与模型可复用供应基础。 主数据管理：通过主数据打通各业务链条，统一数据言语，统一数据标准，实现数据共享。 目标体系：目标体系就是将各个目标依据特定的框架组织起来，从而统一目标名称及口径定义，理清目标间构成关系，避开反复建设 词根管理：通过词根可以用来规范表名、字段名、主题域名等等。 数据血缘：数据溯源、数据价值与质量评估。 分层架构 通过数据分层管理可以更好组织、管理与维护数仓数据，简化数据开发工作，每一层的处理规律相对简约与简约理解，也比较简约保证每一个步骤的正确性，从而简化数据清洗的过程。分层是在利用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因而数据仓库会存在大量冗余的数据；不分层的话，假如源业务系统的业务规章发生变化将会影响整个数据清洗过程，工作量巨大。通过数据分层为数据与模型可复用供应基础，很多数据质量问题是由于我们数据与模型无法复用导致业务口径与技术口径无法统一；新的需求，都从原始数据重新计算，从而衍生出很多数据质量问题。数仓分层一般如下： ODS 层:加载与处理业务系统源数据的临时区。ODS 是面对系统，贴源迁移。不转变数据结构和数据粒度，但需清洗脏数据。 DWD：企业独一的、集成的、精确?????的数据版本。数据按主题域组织，数据结构按实体和关系重构，数据粒度保留最细。使用 E-R 建模。 DWS：面对业务，维度建模。数据按业务过程组织，数据结构按现实表和维度表重构，数据粒业务度按需汇总。 ADS：面对应用场景使用适合的工具提升数据存储与处理的效率，从而供应数据服务。 主数据管理 能够满足企业跨部门协同需要的、反映核心业务实体形态属性的企业(组织机构)基础信息，属性相对稳定、精确?????度要求更高、独一识别的，就是主数据，称为 MDM。这是《主数据管理实践白皮书》给出的定义。 主数据是描述核心业务的关键现实，例如客户、产品、员工、地区等；同时也包含这些现实间的数据关系。主数据管理次要体现了以下价值： 衰退数据冗余:不同系统、不同部门依据本身规章和需求猎取数据，简约形成数据反复存储，构成数据冗余。主数据打通各业务链条，统一数据言语，统一数据标准，实现数据共享，最大化衰退了数据冗余。 提升数据处理效率：各系统、各部门对于数据定义不一样，不同版本的数据不全都，一个核心主题也有多个版本的信息，需要大量的人力、时间成本去整理和统一。通过主数据管理可以实现数据动态整理、复制、分发和共享。 提高公司战略协同力：数据作为公司内部运营分析、决策支撑的“通行言语”，实现多个部门统一后，有助于打通部门、系统壁垒，实现信息集成与共享，提高公司全体的战略协同力。 下图是主数据资产清单示例，要实现对主数据管理，次要是从以下几方面实现： 深化业务，扎根业务：每个业务线关键实体既有差异，也有交叉；次要深化了解业务，才可以保持主数据全都性、精确?????性、完整性、可控性。 面对主题域管理：依据业务线、主题域和业务过程三级名目方式管理主数据。通过分层归类管理主数据可以提高管理的效率。 目标体系 目标是一个可以量化目标事物多少的数值，有时候也称为度量，如：DNU、留存率等都是目标。目标体系就是将各个目标依据特定的框架组织起来，从而统一目标名称及口径定义，理清目标间构成关系，避开反复建设。下图是目标体系示例。 业务过程：业务过程是企业活动中不行拆分的行为大事。 维度/属性：维度是观看和分析业务过程的角度，属性是描述维度的信息。 原子目标：原子目标是对具体业务过程的度量或对具体维度/属性的计数，具有明确的业务含义且在