英特尔hadoop发行版白皮书.pdfVIP

白皮书 英特尔 Hadoop 大数据解决方案 英特尔 Hadoop 发行版 分布式文件系统 HDFS 简介 Hadoop 分布式文件系统 （HDFS）是运行在通用硬件上的分布式文件系统。HDFS 提 英特尔 Hadoop 发行版提供下列核 供了一个高度容错性和高吞吐量的海量数据存储解决方案。HDFS 已经在各种大型在 心 优势： 线 服务和大型存储系统中得到广泛应用，已经成为海量数据存储的事实标准。 1. 经过客户验证的企业级 Hadoop 版本， 随着信息系统的快速发展，海量的信息需要可靠存储的同时，还能被大量的使用者快 稳定可靠 速地访问。传统的存储方案已经从构架上越来越难以适应近几年来的信息系统业务 2. 图形化安装、管理、监控工具，自动进 的 飞速发展，成为了业务发展的瓶颈和障碍。 行集群配置优化 HDFS 通过一个高效的分布式算法，将数据的访问和存储分布在大量服务器之中，在可 3. 改进的 HDFS 文件 I/O 算法，提高系 靠地多备份存储的同时还能将访问分布在集群中的各个服务器之上，是传统存储构 统扩 展性，适合不同配置服务器组成的 集群 架 的一个颠覆性的发展。HDFS 可以提供以下特性： 4. 根据 HDFS 数据的热点程度动态调 • 可自我修复的分布式文件存储系统 整数 据复制策略，提高 HDFS 系统吞 • 高可扩展性，无需停机动态扩容 吐量 • 高可靠性，数据自动检测和复制 5. HDFS 和 Map/Reduce 的高可靠性增 强 • 高吞吐量访问，消除访问瓶颈 6. 跨区域数据中心的 HBase 超级大表， • 使用低成本存储和服务器构建 位 置透明的数据访问和全局汇总 7. HBase 大表跨数据中心远程双向复制， 适合异地灾备 8. HBase 高级 Region 负载均衡算法，适 合 多应用、多用户 分布式文件系统 HDFS 特性 9. 基于 HBase 的更高性能的分布式 聚 合和统计统计 10. HBase 的不同表或不同列族的复制 高吞吐量访问 问 大型文件时，系统可以并行从服务器阵 份 数精细控制 HDFS 的每个数据块分布在不同机架的 列 中的多个服务器并行读入，增加了大文 一 组服务器之上，在用户访问时，HDFS 将 件 读入的访问带宽。 会 计算使用网络最近的和访问量最小的 服 务器给用户提供访问。由于数据块的每 通过以上实现，HDFS 通过分布式计算的算 个 复制拷贝都能提供给用户访问，而不是 法，将数据访问均摊到服务器阵列中的每 仅从 数据源读取，HDFS 对于单数据块的 个服务器的多个数据拷贝之上，单个硬盘 访 问性能将是传统存储方案的数倍。 或服务器的吞吐量限制都可以数倍甚至数 百倍的突破，提供了极高的数据吞吐量。 对于一个较大的文件，HDFS 将文件的 不同部分存放于不同服务器之上。在访