海量数据处理Hadoop_中国电信.pdfVIP

海量数据产品和服务海量数据产品和服务 海量数据产品和服务海量数据产品和服务 英特英特尔亚太研发有限公司尔亚太研发有限公司 英英特特尔亚太研发有限公司尔亚太研发有限公司 英特尔海量数据产品英特尔海量数据产品 英特尔海量数据产品英特尔海量数据产品 Intel Distribution of Hadoop Monitoring Configuration Management (Ganglia) (Cluster Management Suite) Language Compiler RPC Proxy (Hive) (Thrift) Distributed Batch Processing Framework Real-time Database (Map/Reduce) (HBase) Distributed File System Coordination Service (HDFS) (Zookeeper) Structured Data Collector (Sqoop) 2 2012/3/16 Hadoop分布式文件系统分布式文件系统 分布式文件系统分布式文件系统 • 设计目标 – 错误检测和快速自动恢复 • 硬件故障是常态而非异常 – 为流式数据访问优化 – 支持大数据集 • 单个文件大小有数GB或者TB • 可提供高聚合带宽访问 • 可能够扩展至数千个节点 – 简化“一致性”模型 • 一次写入、多次读 – 移动“计算”比移动“数据”更便宜 • 主要特点 – 使用低成本存储和服务器构建 – 存放PB级别的海量数据 – 高可扩展性，实际生产环境扩展至4000个节点 – 高可靠性和容错性，数据自动复制 ，可自我修复 – 高带宽，高并发访问 3 2012/3/16 Hadoop MapReduce计算框架计算框架 计算框架计算框架 • 为离线数据分析而设计，基本上是个利用数据并行性进行分布运算而后汇总结果的 计算框架 − 分析问题能够被并行化，且输入数据集可以被切分 − 一个Map函数，在第一阶段计算Key,Value对 − 一个Reduce函数，在第二阶段用于汇总Map函数的