原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
分布式计算平台——
Hadoop环境下的组网方案
Hadoop起源MapReduce和HDFS介绍Hadoop的流量模型组网设计
Hadoop介绍
Hadoop起源DougCutting说：这个名字是我的孩子给一头吃饱了的棕黄色大象取的。我的命名标准是简短、容易发音和拼写，没有太多的含义，并且不会被用于别处。小孩是这方面的高手。Google就是小孩子起的名字。2002年，Hadoop起源于ApacheNutch，一个开源的网络搜索引擎。后来，开发者认为该引擎的架构可扩展度不够，不能解决数十亿网页的搜索问题。怎么办呢？2003-04年，Google发表了举世闻名的三大论文：BigTable——一个分布式的结构化数据存储系统GFS——TheGoogleFileSystemMapReduce——个处理和生成超大数据集的算法模型的相关实现
5Hadoop核心分布式文件系统HDFSMapReduce框架并行数据分析语言Pig列存储NoSQL数据库Hbase分布式协调器Zookeeper数据仓库Hive(使用SQL)Hadoop日志分析工具Chukwa以Google的论文为基础，Hadoop也有了自己的生态系统
MapReduce和HDFS的工作流添加标题Laoddataintothecluster(HDFSWrite)。添加标题Analyzethedata(MapReduce)添加标题Storetheresultsinthecluster(HDFSWrite)添加标题Readtheresultsfromthecluster(HDFSRead)
MapReduce介绍
MapReduce的逻辑数据流 从一堆数据中找出每年的最高温度值
MapReduce运行原理Map阶段：InputSplitMap运算缓存（内存中）SpilltoDisk/Partition排序Sort/MergeonDiskShuffle阶段（Inmanyways,theshuffleistheheartofMapReduceandiswherethe“magic”happens）Reduce阶段排序Sort/Merge（内存到磁盘）Reduce运算Output（输出到HDFS)
MapReduce图解0102030405Buffer默认为100MB单击此处添加小标题Spill、Merge都可以压缩。用CPU换IO单击此处添加小标题超出Buffer的部分为，被Spill到磁盘。可以设置Buffer阀值为80%单击此处添加小标题默认情况，Reduce最多只能同时下载5个Map的数据，单击此处添加小标题默认可将10个Spill文件并行写入Merge文件单击此处添加小标题
JobTracker和TaskTrackerJobTracker：协调作业（job）的运行。客户端：提交MapReduce作业。TaskTracker：运行作业划分后的任务（task）。一个Job可以被划分成多个Task，每个Maper负责运行一个Task。
MapReduce运行流程
HadoopDistributedFileSystem介绍
以集群的方式存储海量数据：PB级对HDFS来说，一次写入，多次读取是最高效的访问模式。商用硬件：使用普通的PCServer构建集群。HDFS被设计成，如果某些Server遇到故障，集群应不受到影响，继续运行且不让用户察觉到明显的中断。低时间延迟的访问：要求时延低的的应用，例如几十毫秒，HDFS不适合。HDFS是为高数据吞吐量应用优化的，这可能会以高时延为代价。目前，对于低延迟的应用，Hbase是更好的选择。HDFS——Hadoop分布式文件系统
Namenode和DatanodeNamenode：管理者，管理文件系统。记录着每个文件中各个块所在的Datanode信息。客户端：代表用户与Namenode与Datanode交互来访问整个文件系统。Datanode：工作节点，根据需要存储并检索数据块，并且定期向Namenode发送它们所存储的块的列表。
HDFS——数据写入剖析
HDFS——副本的布局相同节点中的进程。同一Rack上的不同Node。同一DC中的不同Rack上的Node。不同DC中的Node。
HDFS——数据读取剖析
某电商Hadoop集群案例
某电商Hadoop集群规模总容量50PB数据每天增长超过100T总共2800多台机器约150000道作业/天每日扫描数据总量约5PB，产生数据总量
文档评论（0）