DeltaLake数据湖原理和实战.docxVIP

Delta Lake 数据湖原理和实战 导读：当下数据湖的概念越来越火，但到底什么是数据湖，你了解到什么程度了？好多小伙伴一直对数据湖没有一个很好的理解，今天我们将从概念和特点上，同你一起梳理下数据湖的核心知识点。 数据湖这么火，到底是如何实现的，它是大数据架构的银弹吗？围绕这个问题为大家介绍数据湖的核心实现原理和实战。 图1 01我们得先知道数仓是个啥 数据湖是从数据仓库的概念上发展而来的。因此在开启数据湖原理和实战之旅前，我们首先得再往前追溯一些很直接的、有强相关性的内容点，说到这就有必要回顾下数仓的基础知识了。 咱就从数据仓库概念说起吧，它简称为数仓，英文名Data Warehouse，可简写为DW或DWH。数据仓库是为企业决策提供所有类型数据支持的集合。企业建立数仓的主要目的是为分析性报告和决策支持目的而创建。 简单介绍了数据仓库的概念，咱们看下数据有哪些特点。这将帮助我们进一步理解数仓。 1.数据是面向主题的：是在较高层次上对分析对象的数据的一个完整、一致的描述，能完整、统一地刻划各个分析对象所涉及的企业的各项数据，以及数据之间的联系。 2.数据是集成的：数据进入数据仓库之前，统一源数据中所有矛盾之处，如字段的同名异义、异名同义、单位不统一、字长不一致。 3.时间段内不可更新：无更新操作，不用考虑数据整性保护、并发控制；重点关注高性能查询；BI要求高。 图2 4.数据随时