hdfs技术特点和应用分析.pptxVIP

会计学;;Gartner – 2009 下一个五年企业数据将增长650% 其中80%是非结构化复杂数据;分布式文件系统;背景介绍 Hadoop和HDFS简介 架构设计面临的问题和解决方案 设计理念 问题 解决方案 应用场景和成功案例;Hadoop是用来处理并保存海量数据的云计算平台 Apache顶级项目 Hadoop构成： 分布式文件系统(HDFS) MapReduce框架 其他 使用Java开发 运行于 Linux、Mac OS/X、Windows和Solaris 主流商用服务器;Hadoop家族简介;背景介绍 Hadoop和HDFS简介 架构设计面临的问题和解决方案 设计理念 问题 解决方案 应用场景和成功案例;无为而治 抓大放小 性能至上 高容错性 ;;HDFS架构解决方案1 Master + n Slave;目录节点负责维护HDFS的文件目录空间 目录节点在本地文件系统保存 操作日志（Editlog） 目录镜像（FsImage） 管理 Hadoop集群管理 数据块备份管理;元数据包含的信息 文件名称 文件与数据块的对应关系 数据块和数据节点信息 文件属性：如建立时间，备份数量 关于目录空间的元数据会加载到目录节点的内存中 ;数据节点是实际储存文件数据块的服务器 在本地端的文件系统（例如ext3）中储存真正的文件资料 记录关于数据块的元数据 例如：CRC校验码、数据块和本地