hadoop任务书.docVIP

软件工程课程设计------Hadoop项目源码分析 表1 开源云计算系统及对应的商用系统 开源云计算系统 对应的商用云计算系统 Hadoop HDFS Google GFS Hadoop MapReduce Google MapReduce Hadoop HBase Google Bigtable Hadoop ZooKeeper Google Chubby Hadoop Pig Google Sawzall 简介 项目来源 项目组成（HDFS，MapReduce，HBase） 特点（优点） HDFS：GFS的开源实现 GFS 简介 系统架构（图GFS体系架构） 采用中心服务器模式 不缓存数据 在用户态下实现 只提供专用接口 容错机制 Master容错 Chunk server 容错 系统管理技术 大规模集群安装技术 故障检测技术 节点动态加入技术 节能技术 HDFS 设计前提与目标 体系结构（HDFS的结构示意图） 保障可靠性的措施 冗余备份 副本存放 心跳检测 安全模式 数据完整性检测 空间回收 元数据磁盘失效 快照 提升性能的措施 副本选择 负载均衡 客户端缓存 流水线复制 访问接口 DFSShell DFS管理 Hadoop API 浏览器接口 HDFS 源码分析 类图 MapReduce的开源实现 Google MapReduce 产生背景 编程模型 实现机制 案例分析 Hadoop MapReduce 逻辑模型 实现机制 分布式并行计算 本地计算 任务粒度 Combine（连接） Partition（分区） 读取中间结果 任务管道 HBase：Bigtable的开源实现 Google Bigtable 设计动机与目标 数据模型 行 列 时间戳 系统架构 主服务器 子表服务器 SSTable及子表基本结构 子表地址 子表数据存储及读写操作 性能优化 局部性群组 压缩 布隆过滤器 Hadoop HBase 逻辑模型 物理模型 子表服务器 主服务器 元数据表 HBase 源码分析 类图 参考文献： The Hadoop Distributed File System: Architecture and Design /core/docs/r0.16.4/hdfs_design.html HDFS Under the Hood Presentation 1 /1/event/12/HDFS%20Under%20the%20Hood%20Presentation%201.pdf Kosmos File System (KFS) is a New High End Google File System Option /kosmos-file-system-kfs-new-high-end-google-file-system-option Hadoop HBase Performance Evaluation Introduction /~kcd/hadoop/kcd-hadoop-report.pdf Hbase/HbaseArchitecture /hadoop/Hbase/HbaseArchitecture Hbase/DataModel /hadoop/Hbase/DataModel Understanding HBase and BigTable /wiki/index.php?title=Understanding_Hbase_and_BigTable The End of an Architectural Era (Its Time for a Complete Rewrite) /conf/2007/papers/industrial/p1150-stonebraker.pdf HBase Leads Discuss Hadoop, BigTable and Distributed Databases /news/2008/04/hbase-interview Validating the Real-time Performance of Hbase /hadoop/Hbase/HbaseRTDS Hadoop Summit and Data-Intensive Computing Symposium Videos and Slides /node/2104 Google Datastore and the shift from a RDBMS /2008/04/13/google-datastore-and-the-shift-from-a-rdbms One Size Fits All? - Part 2: Benchmarking R