大数据技术发展趋势与应用手册.docxVIP

大数据技术发展趋势与应用手册

第1章大数据技术架构演进与核心组件解析

1.1从关系型数据库到数据湖的架构变革

传统关系型数据库（RDBMS）采用“存储-处理-分析”的线性架构，数据被固化在固定的表结构中，查询效率极高但难以应对非结构化数据，且数据冗余严重。随着业务增长，面对海量日志、视频流及社交文本，RDBMS的扩展性日益受限，企业开始转向“存储-计算”分离的架构。数据湖（DataLake）技术摒弃了分层存储模式，直接将原始、未清洗的“冷数据”以原始格式（如Parquet,ORC,Avro）存入低成本对象存储（如HDFS,S3）中，支持无限扩展的存储容量，