现代数据架构.pdfVIP

现代数据体系架构 Data Fabric、Data Lakehouse、Data Mesh 和未 来的数据生态系统 王雪峰 | 2022/7/15 Confidential – Restricted The Mesh, The Fabric The Lakehouse 现代数据架构 现代数据架构处理混合数据的复杂性：Mesh、Lakehouse 和 Fabric 使企业可以轻松访 问、 使用并从中创造价值。它们会自动处理复杂性，因此 IT 团队不必做！ 所有相关数据源的统一数据管理。 整合和统一数据仓库和数据湖的能 数据被视为一种产品，并由最熟悉 力。 和使用数据的团队拥有。 Forrester 创造了Data Fabric ，定义如 Gartner 将 Data Lakehouse 架构或范 Data Mesh建立在四个原则之上： 下： 式定义为： 1. 面向领域的数据所有权和架构去中心化； “Data Fabric 以自助服务的方式智能、 “Data Lakehouses 集成并统一了 2. 面向领域的数据作为产品； 安全地编排不同的数据源，利用数据湖、 Data Warehouses 和 Data Lakes 的 3. 将自助服务数据基础设施作为平台，以支 数据仓库、NoSQL、交易分析等数据平 功能，旨在在单一平台上支持 AI、BI、 持自主的、面向领域的数据团队；和 台提供统一、可信和全面的客户和业务数 ML 和数据工程。” 4. 联合治理以实现生态系统和互操作性。 据视图在整个企业中支持应用程序和洞察 力。” 3 DATA FABRIC Confidential – Restricted TOP Strategic Technology Trends for 2022 • Data Fabric做为数据基 础能力被再次强调 Confidential – Restricted 5 Data Fabric核心概念 • Fabric是一种架构方法，该方法在各个节 点之间提供完整的点对点连接，这些节点 可以是数据源、存储、内部/外部应用程 序、用户等任何访问数据或与数据相关的 信息。 • Data Fabric将现有的数据管理系统和应 用程序编织在一起，提供可重用的服务， 涵盖数据集成、访问、转换、建模、可视 化、治理和交付。为了在所有这些不同的 服务之间提供连接，Data Fabric包括了 连接到数据生态系统工具的连接器。 Confidential – Restricted 6 Forrester定义 • 建立在大数据分析、云计算 以及Data Fabric等新技术之 上 • 使用数据湖、Hadoop和 Apache Spark等大数据技术 自动、智能、安全地汇集不 同的大数据源，并在大数据 平台技术中进行处理 • 以提供统一、可信、全面的 客户和业务数据视图 Confidential – Restricted 7 Gartner定义 • 包含数据和连接的集成层，通过对现有的、可发现和可推断的元数据资产进行持续分析， 来支持数据系统跨平台的设计、部署和使用，从而实现灵活的的数据交付。 • Data Fabric是数据管理（如DataOps ）、集成技术、架构、跨平台部署、编排等能力的 优化组合（包括不限于流数据集成、数据虚拟化、语义丰富、AI\ ML辅助的主动元数据、 知识图谱、图以及其他非关系数据存储等），来应对前面提到