大数据技术与应用手册_1.docxVIP

大数据技术与应用手册

第1章大数据基础理论与架构

1.1数据生命周期与数据存储范式

数据生命周期是指数据从产生、采集、清洗、存储、使用到最终归档或销毁的完整过程，它决定了大数据系统的运行效率与成本效益。在构建系统时，必须明确数据在各阶段的状态流转，例如在“采集”阶段，数据以原始格式（如CSV、JSON或二进制流）进入系统；在“清洗”阶段，需应用ETL（Extract,Transform,Load）流程去除脏数据；在“存储”阶段，数据被写入特定的存储层；在“使用”阶段，数据被查询、分析或消费；最后进入“归档”或“销毁”阶段，以节省存储资源。数据存储范式是决定数据如何被组织、管理和检索的关键架构选择。常见的模式包括：列式存储（如ApacheParquet、HBase）适合高宽分离的数据，压缩率高且查询快；宽表存储（如MySQL、ClickHouse）适合结构化数据，索引性能优异；图数据库（如Neo4j）则专门用于处理实体间的复杂关系网络。选择范式时需权衡查询效率、读写吞吐量及数据一致性要求。

在数据生命周期中，“存储”阶段是资源消耗最大的环节，因此需根据数据热度（HotData）与历史价值（ColdData）实施分层存储策略。对于实时分析数据，采用SSD或内存数据库（如Redis）进行冷备；对于归档数据，可迁移至低成本的对象存储（如S3、