大数据技术导论课件 项目5+数据管理与分布式存储技术.pptxVIP

2026.4项目5数据管理与分布式存储技术

Catalogue目录非关系型数据库（NoSQL）5.1.数据管理发展历程列式数据库HBaseHDFS分布式文件系统2.6.项目实施SecondaryNameNode冷备份机制3.7.总结与展望HDFS常用操作命令4.8.

01数据管理发展历程

五个发展阶段概述

资源管理职责包括CPU、内存、文件与设备四大模块。Part01文件操作粒度提供文件名的增删改查，属于粗粒度控制。Part02管理局限性无法深入内容层面进行精细化操作。Part03应用场景限制适用于通用计算环境，难以支撑复杂数据处理。Part04操作系统级管理

可对文件内容执行增删改查，提升操作精度。粒度细化优势基于表结构组织数据，便于查询与维护。结构化数据支持Oracle、MySQL、PostgreSQL等关系型数据库。典型代表在超大规模数据面前，性能下降明显。面临瓶颈数据库管理系统

行式存储弊端图5.7展示行式存储模式，列扩展困难。存储效率低下大表操作需频繁移动数据，影响响应速度。单一对象管理表作为不可分割单元，难以水平拆分。扩展性差难以通过增加节点实现线性扩容。传统数据库问题分析

02HDFS分布式文件系统

体系结构

01主从架构组成040203一个NameNode、若干DataNode和一个SecondaryNameNode。分布式协作意义合作是突破个体局限的