2025年人工智能与大数据融合手册_1.docx

2025年与大数据融合手册

第1章

1.1新一代分布式云原生数据湖构建

构建基于对象存储（如AWSS3、阿里云OSS）的底层存储池，采用Hadoop生态或开源框架（如ApacheSpark）作为计算引擎，实现海量非结构化数据（图片、视频、日志）的弹性扩展与低成本存储，确保数据湖具备PB级数据吞吐能力。设计分层存储架构，将原始数据存储在低成本对象存储层，经过清洗和格式转换的数据存入高性能对象存储层，经过ETL处理后的数据存入低成本对象存储层，实现存储资源与计算资源的智能分离与动态调度。

引入云原生容器化技术，利用Kubernetes集群管理数据湖中的各类服务