HDFS简胶烷.pptxVIP

HDFS王洋分布式文件系统什么是分布式？网络集群文件系统的组成？文件管理软件被管理的文件内容组织文件的数据结构本地文件系统HDFS是一个虚拟文件系统HDFS建立在OS的文件系统的基础上ext3/ext4/xfsHDFS是一个Master/Slave架构上的服务index/datablockstream式读取，磁带一样（顺序访问）HDFS的特点以block的方式进行组织默认64MB为一个block对文件进行分割hadoop2 128MB高容错性（高冗余性）默认3个副本进行备份HDFS的目的为了方便处理海量数据的目的不是为了存储方便和安全也不是为了高效的相应反馈HDFS结构Master/Slave的结构Master NodeNameNodeSecondary NameNodeSlave NodeData NodeNameNodeHDFS的所有文件的索引都在这个节点上，搜索HDFS上面所有的数据都是从NameNode上面找到的。Secondary Name不是NameNode的备份，它是将Name和Edit log进行整理和合并的进程。DataNode实际文件数据存储的Node文件被分割成若干block，每个block被存放在不同的data node上面。这个关于文件的block和不同data node的信息数据被称之为元数据，保存在name node中。hdfs上面的文件不断的增加和删除操作信息，保存在edit log里面，在secondary namenode中进行合并，有name node对外提供索引服务。DataNode为后面的map和reduce的job提供处理的数据和启动的节点信息。总结HDFS是为了处理海量数据而产生的文件系统。HDFS是一个（主/从）结构的虚拟文件系统。什么是大数据？大数据的概念？ 5V （volumn, varity, velocity, value, veracity)1. 规模大，目前的普通的数据处理方法不能简单的处理，GB/TB/PB/EB/ZB2. 多样性，结构化/半结构化/非结构化 ～ RDB/《K，V》/日志 ～ 文本/表格/PPT3. 产生速度快，每天/GB/TB4. 价值密度底5. 来自于真实环境主从结构～类似于RDB，index和记录之间的关系，通过index找到记录。