出行基于湖仓一体构建数据中台的实践与思考.pdfVIP

T3 出行基于湖仓一体构建数据中台的实践与思考 T3 出行/ Apache Hudi PMC Committer / 杨 华 2020.12 目录 一、数据湖、数据仓库与数据中台 二、湖仓一体的架构介绍 三、湖仓一体上数据中台的探索与实践 什么是数据湖 ？ AWS的定义： A data lake is a centralized repository that allows you to store all your structured and unstructured data at any scale. You can store your data as-is, without having to first structure the data, and run different types of analytics—from dashboards and visualizations to big data processing, real-time analytics, and machine learning to guide better decisions. 数据湖是一个集中式存储库 ，允许您以仸意规模存储所有结构化和非结构化数据。您可以按原样存储数据 （无需先对数据进行结构化处理），幵运行不同类型的分析– 从控制面板和可视化到大数据处理、实时分 析和机器学习，以指导做出更好的决策。 什么是数据仓库 ？ AWS的定义： A data warehouse is a central repository of information that can be analyzed to make more informed decisions. Data flows into a data warehouse from transactional systems, relational databases, and other sources, typically on a regular cadence. Business analysts, data engineers, data scientists, and decision makers access the data through business intelligence (BI) tools, SQL clients, and other analytics applications. Data and analytics have become indispensable to businesses to stay competitive. Business users rely on reports, dashboards, and analytics tools to extract insights from their data, monitor business performance, and support decision making. Data warehouses power these reports, dashboards, and analytics tools by storing data efficiently to minimize the input and output (I/O) of data and deliver query results quickly to hundreds and thousands of users concurrently. 数据仓库是信息（对其进行分析可做出更明智的决策）的中央存储库。通常，数据定期从事务系统、关系数据库和其他来源流入数据仓 库。业务分析师、数据工程师、数据科学家和决策者通过商业智能 (BI) 工具、SQL 客户端和其他分析应用程序访问数据。 数据和分析已然成为各大企业保持竞争力所不可或缺的部分。企业用户依靠报告、控制面板和分析工具从其数据中获得洞察力、监控企 业绩效以及更明智地决策。数据仓库通过高效地存储数据以便最大限度地减少数据输入和输出 (I/O) ，幵快速地同时向成千上万的用户 提供查询结果，为这些报告、控制面板和分析工具 由数据仓库提供支持。 数据湖与数据仓库的区别与协作关系？ 特性 数据仓库 数据湖 数据 来自事务系统，运营数据库和业务线应用程