高教社唐九阳大数据技术基础教学课件第3章 大数据存储与管理.pptxVIP

第三章 大数据存储与管理;分布式文件系统 HDFS的概念 HDFS的工作原理 NoSQL数据库 ;分布式文件系统（DFS，Distributed File System）是一种允许文件透过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。即文件系统管理的物理存储资源不仅存储在本地节点上，还可以通过网络连接存储在非本地节点上。;常见的分布式文件系统;统一名字空间 指服务器上的每一个目录和文件在该文件系统中都有一个统一的、唯一的名字。; HDFS采用了主从式（Master/Slave）的体系结构，HDFS的高层设计主要包含名节点（NameNode，或称主节点）与数据节点（DataNode）。它们之间的通信，包括客户端与HDFS 名节点服务器的通信，则基于TCP/IP。通常，一个HDFS 集群（Cluster）由一个名节点和多个数据节点组成，且在大多数情况下，会由一台专门的机器运行名节点实例。名节点是HDFS主从结构中主节点上运行的主要进程，它负责管理从节点DN。;HDFS体系结构的设计原则;HDFS体系结构的设计原则;HDFS体系结构的设计原则;HDFS是基于什么样的原理将文件分块存储到分布式环境中的各个设备上的？ HDFS是怎么来管理存储在各个设备上的分块文件的？ HDFS的错误检测和恢复机制是怎么实现的？; 从HDFS系统的内部架构来看，一个文件被分成多个文件块存储在数据节点集上。 名节点负责执行文件系统的操作（如文件打开、关闭、重命名等），同时确定和维护文件命名空间到各个数据块之间的映射关系，即名节点（NameNode）负责管理分布式文件系统的命名空间（Namespace），保存了两个核心的数据结构，即FsImage和EditLog。 ; 数据节点（DataNode）负责来自客户端的文件读写(即I/O操作)；同时数据节点也负责文件块的创建、删除和执行来自名节点的文件块复制命令。 ;文件系统命名空间;数据复制;数据复制;元数据的持久存储;多副本的流式复制; 每个 DataNode 定期向 NameNode 发送心跳消息，如果超过指定时间没有收到心跳消息，则将 DataNode 标记为死亡。NameNode 不会将任何新的 IO 请求转发给标记为死亡的 DataNode，也不会再使用这些 DataNode 上的数据。 由于数据不再可用，可能会导致某些块的复制因子小于其指定值，NameNode 会跟踪这些块，并在必要的时候进行重新复制。;HDFS数据读写;HDFS数据读写;HDFS数据读写;NoSQL数据库;NoSQL数据库;列族数据库;键值数据库;文档数据库;图数据库;大数据的存储与管理是进行大数据挖掘与分析的基础。 为了保存妥善保存海量数据，分布式文件系统采取了统一名字空间、锁管理机制、副本管理机制等技术，实现了对大数据的高效存储。 HDFS是一种流行用于大数据存储的文件系统。 现有的面向大数据管理的数据库主要包括列式数据库、键值数据库、文档数据库和图数据库四类。