柠檬学院:Hadoop及Mapreduce入门程序.pptx

Hadoop及Mapreduce入门;Outlines;Hadoop, Why?;Hadoop History;Hadoop-related projects;Who Uses Hadoop;Goals of HDFS;The File System;NameNode Metadata;DataNode;Block Replica Placement;Data Correctness;FS Shell;Web UI;Map-reduce Programming Paradigm;Hadoop Map/Reduce;Mapper;Reducer;Job Setup;;Inject Points;Job Tracker Task Tracker;FIFO 先到先得,排队执行 Fair Scheduler(公平调度器) 它的目的是让所有的作业随着时间的推移,都能平均的获取等同的共享资源。 按资源池(pool)来组织作业,并把资源按配置分到这些资源池里 /common/docs/r0.20.2/fair_scheduler.html Capacity Scheduler(容量调度器) 支持多个queue,每个Job提交到一个queue里 支持内存调度,对于需要高内存的任务,调度到有足够内存的节点 /common/docs/r0.20.2/capacity_scheduler.html ;

文档评论(0)

1亿VIP精品文档

相关文档