大数据+云计算应用与发展手册.docxVIP

大数据+云计算应用与发展手册

第1章大数据基础架构与核心技术演进

1.1分布式存储与数据湖架构设计

数据湖是大数据基础设施的核心基石，旨在以低成本、高效率的方式存储海量非结构化数据，为后续分析提供原始素材。其设计核心在于解耦数据写入与处理逻辑，利用分布式文件系统实现海量数据的弹性扩展。

在架构层面，数据湖通常基于对象存储（ObjectStorage）构建，如HDFS（HadoopDistributedFileSystem）或Ceph。每个对象代表一个数据文件，通过唯一的键值对（Key-ValuePair）进行标识，支持任意长度和任意格式的数据存储，无需预先定义文件格式，完美契合数据湖“原始数据即数据”的理念。为了实现数据的自动发现与高效检索，数据湖架构集成了分布式搜索引擎，如ApacheSparkSQL结合Hadoop生态。这允许用户无需预先加载数据，直接通过查询语句（如SQL）在存储层进行过滤、聚合和排序，将传统的ETL流程前置到数据湖层。

数据湖通常采用分层存储策略，底层为低成本的对象存储用于存储原始数据，中间层为高性能的列式存储（如Parquet,ORC）用于冷热数据分离，顶层为行式存储用于高频访问的热点数据，这种分层设计平衡了存储成本与查询性能。在数据写入方面，数据湖支持多种格式，包括JSON、Parquet、Avr