WCBDA_M1S4L3_使用 HDFS 存储数据.pdfVIP

大数据导论 使用 HDFS 存储数据 2017-6-28 2 机架服务器 机架服务器能够增强计算能力、以较少的成本提升可靠性 2017-6-28 3 机架服务器 机架服务器易于扩展 ，仅需按照业务的需求添加节点 2017-6-28 4 2017-6-28 5 HDFS HDFS 是数据存储集群 ，用于 可靠 高效 实现文件的跨主机存储和管理 • 可靠的数据存储 数据 • 仅写入数据一次 容错 访问 • 可以从各个主机上的任一文件 副本中读取数据 可移植 可扩展 • 具有容错性 • 保证数据的可移植 • 大量数据的可靠的存储和处理 经济 大数据处理 2017-6-28 6 学习目标 • Hadoop HDFS • 怎么用HDFS存储文件 2017-6-28 7 HDFS 的架构 • 遵循主/从架构 • NameNode主服务器、多个 DataNodes • NameNode管理文件系统的 名空间和文件访问 • DataNodes在文件中存储数据 块 • NameNode保存数据块与 DataNode的关系 2017-6-28 8 HDFS 的架构 元数据 ：关于数据的数据 HDFS元数据是一个模板 ： • 文件的创建、访问、修改、删除 等的时间 • 文件块在集群中的存储位置 • 文件的查看或修改权限 • 文件和数据的数量 • 事务 日志在集群中的位置 • NameNode一直存在于内存 ， DataNodes存储于机架 • 机架是某个物