Hadoop工作原理 调度策略.ppt

CDH4.1实战系列 Impala 下载地址 /impala/redhat/6/x86_64/impala/ 上节课最后提示没impala的repo文件，做法为: 每台节点/etc/yum.repos.d下创建cloudera-impala.repo ,内容为: [cloudera-impala] name=Impala baseurl=/impala/redhat/6/x86_64/impala/1/ gpgkey = /impala/redhat/6/x86_64/impala/RPM-GPG-KEY-cloudera gpgcheck = 1 最后每台节点都安装第4讲中顺序安装cdh4相关rpm包，大家课下进行。 操作上，下接第7讲 Hadoop 工作原理 Master/slave 模式 核心模块： 1、HDFS 分布式存储 进程：Namenode, Datanode 以管理者-工作者模式运行，ssh协议(ftp+telnet)进行数据传输。 Namenode管理文件系统的命名空间，维护文件系统树及所有文件和目录，这些信息保存在本地磁盘上。Namenode还记录着每个文件中各个block所在的数据节点信息。 Datanode是文件系统的工作节点，存储Block，并定期向namenode发送它们存储的block列表。 客户端，访问整个文件系统，hadoop fs 开头 类Linux shell命令。 2、MapReduce 计算模块 进程：Jobtracker， Tasktracker Jobtracker： 协调作业的运行,接收和分配作业，可以比喻为负责收发作业的老师 Tasktracker: 运行Job，创建task任务，可以比喻为写作业的学生。 客户端通过master节点向JobTracker（可以部署在任意节点上，namenode所在节点就是master）提交Job, JobTracker接到JobClient的请求后把其加入作业队列中。JobTracker一直在等待JobClient通过RPC向其提交作业,而TaskTracker一直通过RPC向JobTracker发送心跳信号询问有没有任务可做。 如果JobTracker的作业队列不为空,则TaskTracker发送的心跳将会获得JobTracker给它派发的任务，当TaskTracker接到任务后，通过自身调度在本slave建立Task执行。 MapReduce内部工作原理： Map - shuffle – reduce 过程，见网摘： /blog/static/252367420116125223809/ 调度策略 Hadoop本身也是一个调度系统，接收客户端提交的job进行调度。 Hadoop的MapReduce调度是由tasktracker主动向jobtracker请求的，其原理类似于普通的非抢占式操作系统调度，即任务一旦分配，就不可中断。根据调研，已有典型调度算法如下： 1、先进先出算法(FIFO:Fisrt In First Out):该算法按照进程进入就绪队列的先后顺序来选择。即每当进入进程调度，总是把就绪队列的队首进程投入运行。Hadoop自带的调度算法就是FIFO。 2、公平份额调度算法Fair Scheduler 公平共享调度器的核心概念是，随着时间推移平均分配工作，这样每个作业都能平均地共享到资源。结果是只需较少时间执行的作业能够访问 CPU，那些需要更长时间执行的作业中结束得较迟。这样的方式可以在 Hadoop 作业之间形成交互，而且可以让 Hadoop 集群对提交的多种类型作业作出更大的响应。公平调度器是由 Facebook 开发。 调度策略 3、计算能力调度算法Capacity Scheduler 容量调度器的原理与公平调度器有些相似，但也有一些区别。首先，容量调度是用于大型集群，它们有多个独立用户和目标应用程序。由于这个原因，容量调度能提供更大的控制和能力，提供用户之间最小容量保证并在用户之间共享多余的容量。容量调度是由 Yahoo开发。 应用调度，大量应用如何控制调度？ 欢迎访问我们的官方网站