Hadoop和HBase.pdf

LOGO Hadoop / MapReduce/HBase Hadoop 源起 Apache Lucene  开源的高性能全文检索工具包 Apache Nutch  开源的Web 搜索引擎 Google 三大论文  MapReduce / GFS / BigTable Apache Hadoop  大规模数据处理 2 Hadoop 生态系统 Hadoop 核心  Hadoop Common  分布式文件系统HDFS  MapReduce框架 并行数据分析语言Pig 列存储NoSQL数据库Hbase 分布式协调器Zookeeper 数据仓库Hive(使用SQL) Hadoop 日志分析工具Chukwa 3 Hadoop VS. Google 技术架构的比较  数据结构化管理组件：Hbase → BigTable  并行计算模型：MapReduce → MapReduce  分布式文件系统：HDFS → GFS  Hadoop缺少分布式锁服务Chubby Hadoop云计算应用 Google云计算应用 HBase MapReduce BigTable MapReduce Chubby HDFS GFS 4 名词对照——HDFS Hadoop Google 中文 相关解释 整个文件系统的大脑，它提供整个文件系统的 NameNode Master 主控服务器 目录信息，并且管理各个数据服务器 Secondary 备份主控服务 备用的主控服务器，在身后默默的拉取着主控 无 NameNode 器 服务器的日志，等待主控服务器牺牲后转正。 分布式文件系统中的每一个文件，都被切分陈 Chunk DataNode 数据服务器 若干数据块，每一个数据块都被存储在不同的 Server 服务器上，这些服务器称之为数据服务器。 每个文件都会被切分陈若干块，每一块都有连 Block Chunk 数据块 续的一段文件内容，是存储的基本单位，在这 里统一称作数据块。 客户端写文件的时候，不是一个字节一个字节 写入文件系统的，而是累计到一定数量后，往 Packet 无 数据包 文件系统中写入，每发送一次的数据