Hadoop+分布式文件系统（HDFS）简介.pdfVIP

白皮书 英特尔Hadoop 大数据解决方案 英特尔Hadoop 发行版 分布式文件系统HDFS 简介 英特尔Hadoop 发行版提供下列核心 优势： Hadoop 分布式文件系统 （HDFS ）是运行在通用硬件上的分布式文件系统。HDFS 提供了一个 高度容错性和高吞吐量的海量数据存储解决方案。HDFS 已经在各种大型在线服务和大型存 1. 经过客户验证的企业级Hadoop 版本， 储系统中得到广泛应用，已经成为海量数据存储的事实标准。 稳定可靠 随着信息系统的快速发展，海量的信息需要可靠存储的同时，还能被大量的使用者快速地访 2. 图形化安装、管理、监控工具，自动进 问。传统的存储方案已经从构架上越来越难以适应近几年来的信息系统业务的飞速发展，成 行集群配置优化 为了业务发展的瓶颈和障碍。 3. 改进的HDFS 文件 I/O 算法，提高系统 HDFS 通过一个高效的分布式算法，将数据的访问和存储分布在大量服务器之中，在可靠地 扩展性，适合不同配置服务器组成的 集群 多备份存储的同时还能将访问分布在集群中的各个服务器之上，是传统存储构架的一个颠覆 性的发展。HDFS 可以提供以下特性： 4. 根据 HDFS 数据的热点程度动态调整 数据复制策略，提高HDFS 系统吞吐量 • 可自我修复的分布式文件存储系统 5. HDFS 和MapReduce 的高可靠性增强 • 高可扩展性，无需停机动态扩容 6. 跨区域数据中心的HBase 超级大表， • 高可靠性，数据自动检测和复制 位置透明的数据访问和全局汇总 • 高吞吐量访问，消除访问瓶颈 7. HBase大表跨数据中心远程双向复制， • 使用低成本存储和服务器构建 适合异地灾备 8. HBase 高级Region 负载均衡算法，适 分布式文件系统HDFS 特性 合多应用、多用户 高吞吐量访问 对于一个较大的文件，HDFS 将文件的不同 9. 基于HBase 的更高性能的分布式聚合 HDFS 的每个数据块分布在不同机架的一组服 部分存放于不同服务器之上。在访问大型文 和统计 务器之上，在用户访问时，HDFS 将会计算使 件时，系统可以并行从服务器阵列中的多个 用网络最近的和访问量最小的服务器给用户 服务器并行读入，增加了大文件读入的访问 10.HBase 的不同表或不同列族的复制份 提供访问。由于数据块的每个复制拷贝都能 带宽。 数精细控制 提供给用户访问，而不是仅从数据源读取， 通过以上实现，HDFS 通过分布式计算的算法， HDFS 对于单数据块的访问性能将是传统存 将数据访问均摊到服务器阵列中的每个服务 储方案的数倍。 器的多个数据拷贝之上，单个硬盘或服务器 的吞吐量限制都可以数倍甚至数百倍的突破， 提供了极高的数据吞吐量。 英特尔Ha